[論文レビュー] Consensus-based Sequence Training for Video Captioning

Sang Phan, Gustav Eje Henter+2 more|arXiv (Cornell University)|Dec 27, 2017

Multimodal Machine Learning Applications参考文献 33被引用数 19

ひとこと要約

本稿では、コンSENSUSベースのシーケンストレーニング（CST）を提案する。CSTは2段階の手法であり、まず、正解キャプションをモデルのサンプルとして扱うことで、目的関数の不一致を軽減する重み付き交差エントロピーの事前学習ステップを実施し、次に、正解キャプション間のコンセンサススコアを強化学習（REINFORCE）における高速で安定したベースラインとして用いることで微調整を行う。CSTはMSRVTTで54.2というCIDErスコアの新たなSOTAを達成し、先行手法を2.9ポイント以上上回った。

ABSTRACT

Captioning models are typically trained using the cross-entropy loss. However, their performance is evaluated on other metrics designed to better correlate with human assessments. Recently, it has been shown that reinforcement learning (RL) can directly optimize these metrics in tasks such as captioning. However, this is computationally costly and requires specifying a baseline reward at each step to make training converge. We propose a fast approach to optimize one's objective of interest through the REINFORCE algorithm. First we show that, by replacing model samples with ground-truth sentences, RL training can be seen as a form of weighted cross-entropy loss, giving a fast, RL-based pre-training algorithm. Second, we propose to use the consensus among ground-truth captions of the same video as the baseline reward. This can be computed very efficiently. We call the complete proposal Consensus-based Sequence Training (CST). Applied to the MSRVTT video captioning benchmark, our proposals train significantly faster than comparable methods and establish a new state-of-the-art on the task, improving the CIDEr score from 47.3 to 54.2.

研究の動機と目的

• 動画キャプションにおける目的関数の不一致問題に対処すること。具体的には、CIDErのような人間評価指標と整合しない交差エントロピー学習の問題を解決すること。
• 強化学習ベースのキャプション生成における訓練の不安定性と計算コストを低減すること。具体的には、グリーディベースライン推定をコンセンサスベースの報酬に置き換えること。
• 微調整の前段階として、一般化性能を向上させる効率的で安定した事前学習を可能にし、目的関数の不一致と露出バイアスを分離すること。
• CIDErのようなコンセンサスベースの指標を直接最適化することで、MSRVTTベンチマークで新たなSOTAを確立すること。

提案手法

• 正解キャプションをモデルのサンプルとして扱うことで、真のラベルを用いたREINFORCEの近似が可能な重み付き交差エントロピー事前学習スキーム（WXE）を提案する。
• REINFORCEにおけるベースライン報酬として、1つの動画のすべての正解キャプション間の平均CIDErスコアを計算する自己コンセンサスベースライン（SCB）を導入する。
• SCBを用いることで、グリーディサンプリング中に繰り返しCIDErを計算する必要がなくなるため、グリーディベースラインと比較して訓練時間を約2倍短縮できる。
• 2段階の訓練パイプラインを採用する：まずWXE事前学習で目的関数の不一致を軽減し、次にSCBを用いたREINFORCEによる完全な微調整で露出バイアスに対処する。
• CIDErを報酬信号として用い、人間のキャプションに類似した性能を最適化するため、ベースラインを用いたREINFORCEアルゴリズムを採用し、方策勾配推定を安定化させる。
• SCBの計算にサンプリングされたキャプションを用いることで、動的で柔軟なベースライン推定を可能にしつつ、計算効率を維持する。

実験結果

リサーチクエスチョン

• RQ1 REINFORCE訓練において、モデルが生成するサンプルの代わりに正解キャプションを用いることで、目的関数の不一致を軽減する安定的で高速な事前学習が可能になるか？
• RQ2 正解キャプション間のコンセンサススコアをREINFORCE訓練におけるベースラインとして用いることで、グリーディベースライン推定よりも収束が速く、性能が向上するか？
• RQ3 2段階の訓練スキーム（重み付き交差エントロピーによる事前学習とコンセンサスベースREINFORCEによる微調整）は、同時に目的関数の不一致と露出バイアスの両方に対処できるか？
• RQ4 提案されたコンセンサスベースのシーケンストレーニング（CST）手法は、CIDErを最適化することにより、MSRVTT動画キャプションベンチマークでSOTA性能を達成するか？

主な発見

• CSTはMSRVTTベンチマークで54.2というCIDErスコアの新たなSOTAを達成し、前回の最高スコア51.7を大きく上回った。
• WXE事前学習ステージのみで、標準的な交差エントロピー学習と比較してCIDErスコアが2ポイント以上向上した（47.3 → 49.7）。
• 自己コンセンサスベースライン（SCB）を用いた微調整により、さらに3.9ポイント向上し53.6に達し、さらにサンプリングされたキャプションを用いた最適化で54.2に到達した。
• SCBベースラインにより、グリーディベースライン推定器を用いる場合と比較して、訓練が約2倍速くなった。これは、グリーディ出力に対する繰り返しのCIDEr計算を回避できたためである。
• CSTはすべての指標で先行手法を上回り、特に人間の判断と相関が高いCIDErで最大の向上が見られた。
• 定性的な分析から、CSTは、正解キャプションのばらつきが大きい動画においても、より一貫性があり人間らしいキャプションを生成することが分かった。これは、外れ値への感受性が低くなったためである。