[論文レビュー] Better Captioning with Sequence-Level Exploration

Jia Chen, Qin Jin|arXiv (Cornell University)|Mar 8, 2020

Multimodal Machine Learning Applications参考文献 39被引用数 5

ひとこと要約

本稿では、画像および動画キャプション生成のための新しいシーケンスレベル学習目的関数SLL-SLEを提案する。この手法は、キャプションの多様性を最大化するためのシーケンスレベル探索項を追加することで、モデルのリcall（再現率）を向上させる。多様性正則化を通じて精度と再現率のバランスを図ることで、MSCOCOおよびTGIFデータセットの両方で最先端の性能を達成し、CIDEr、METEOR、SPICEの指標において既存のベースラインを上回るとともに、多様性スコアの向上も見せた。

ABSTRACT

Sequence-level learning objective has been widely used in captioning tasks to achieve the state-of-the-art performance for many models. In this objective, the model is trained by the reward on the quality of its generated captions (sequence-level). In this work, we show the limitation of the current sequence-level learning objective for captioning tasks from both theory and empirical result. In theory, we show that the current objective is equivalent to only optimizing the precision side of the caption set generated by the model and therefore overlooks the recall side. Empirical result shows that the model trained by this objective tends to get lower score on the recall side. We propose to add a sequence-level exploration term to the current objective to boost recall. It guides the model to explore more plausible captions in the training. In this way, the proposed objective takes both the precision and recall sides of generated captions into account. Experiments show the effectiveness of the proposed method on both video and image captioning datasets.

研究の動機と目的

• 現在のシーケンスレベル学習目的関数が、精度を重視する一方で再現率を無視するという限界を特定すること。
• 標準的なシーケンスレベル学習で訓練されたモデルが、非常に類似した低多様性のキャプションを生成するという実証的問題を解決すること。
• 多様で意味的に整合性のあるキャプションの探索を促進することで、再現率を明示的に向上させる新しい学習目的を提案すること。
• 多様性がキャプション生成における再現率の信頼できる代理指標であることを示し、モデルの一般化性能の向上に寄与すること。
• 画像および動画キャプションベンチマークにおいて、精度と再現率の両方を一括して向上させること。

提案手法

• 同じ入力に対して生成されるキャプション間の編集距離を最大化するシーケンスレベル探索項を導入し、構文的および意味的多様性を促進する。
• 標準的なシーケンスレベル学習損失と、キャプション間の不一致に基づく多様性正則化項の組み合わせとして、新しい目的関数を定式化する。
• 編集距離を多様性を測る微分可能代理指標として用い、トレーニング中に複数の妥当なキャプションバリエーションを探索するようモデルを促進する。
• CIDEr/METEORによるキャプション品質と多様性を組み合わせた報酬信号を用いて、強化学習によりモデルをエンドツーエンドで訓練する。
• エンコーダ・デコーダアーキテクチャにアテンション機構を組み合わせ、画像および動画キャプションタスクに本手法を適用する。
• ランダムサンプリングとビームサーチの両方のデコード戦略を実装し、推論モード間でのロバストネスと一般化性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 キャプション生成における標準的なシーケンスレベル学習目的関数は、暗黙的にキャプション生成の再現率側を無視しているか？
• RQ2 シーケンスレベル探索によるキャプション多様性の向上が、再現率関連指標に測定可能な向上をもたらすか？
• RQ3 多様性はキャプション生成において再現率の有効な代理指標であるか、そしてシーケンスレベル目的関数によって効果的に最適化可能か？
• RQ4 提案されたSLL-SLE手法は、異なるデータセットおよびデコード戦略において、精度と再現率の両方で一貫した改善を達成するか？
• RQ5 SLL、SLL-ME、GANベースのアプローチといった強力なベースラインと比較して、性能および多様性の面で本手法はどのように差をつけるか？

主な発見

• 標準的なシーケンスレベル学習目的関数は理論的に一般化された精度を最大化することに等しく、再現率を無視するため、予測の多様性が低くなる。
• 実証的に、標準的なシーケンスレベル学習で訓練されたモデルは、ランダムサンプリング下で低多様性スコア（Div1: 0.06, Div2: 0.81）を示し、非常に類似したキャプションを生成する。
• 提案されたSLL-SLE手法は、MSCOCOでランダムサンプリング下でCIDErスコア115.9、ビームサーチ下で117.2を達成し、SLLおよびSLL-MEを上回った。
• TGIF動画キャプションデータセットでは、SLL-SLEは18.8 METEOR、50.8 CIDEr、16.6 SPICEを達成し、公式ベースラインおよび先行SOTA手法を上回った。
• SLLと比較して、SLL-SLEは平均で再現率の代理指標を40％向上（Div1: 0.29, Div2: 0.40）させ、効果的な探索が実現した。
• 本手法はランダムサンプリングおよびビームサーチの両方のデコード戦略で強く性能を維持しており、ロバストネスと一般化性能が確認された。