[論文レビュー] Move Forward and Tell: A Progressive Generator of Video Descriptions

Yilei Xiong, Bo Dai+1 more|arXiv (Cornell University)|Jul 26, 2018

Multimodal Machine Learning Applications参考文献 27被引用数 7

ひとこと要約

本論文は、時間的に局所化された動画イベントの共同選択と、再帰的で文脈に配慮した方法による文の生成を通じて、一貫性があり、簡潔で関連性の高い段落記述を生成するプログレッシブな動画キャプションフレームワークである Move Forward and Tell (MFT) を提案する。強化学習駆動のLSTMネットワークを用い、文レベルと段落レベルの二重報酬を適用することで、ActivityNet Captionsで最先端の性能を達成し、CIDErスコア14.15を記録した。また、人間による評価でも一貫性と簡潔さにおいて優れた結果を示した。

ABSTRACT

We present an efficient framework that can generate a coherent paragraph to describe a given video. Previous works on video captioning usually focus on video clips. They typically treat an entire video as a whole and generate the caption conditioned on a single embedding. On the contrary, we consider videos with rich temporal structures and aim to generate paragraph descriptions that can preserve the story flow while being coherent and concise. Towards this goal, we propose a new approach, which produces a descriptive paragraph by assembling temporally localized descriptions. Given a video, it selects a sequence of distinctive clips and generates sentences thereon in a coherent manner. Particularly, the selection of clips and the production of sentences are done jointly and progressively driven by a recurrent network -- what to describe next depends on what have been said before. Here, the recurrent network is learned via self-critical sequence training with both sentence-level and paragraph-level rewards. On the ActivityNet Captions dataset, our method demonstrated the capability of generating high-quality paragraph descriptions for videos. Compared to those by other methods, the descriptions produced by our method are often more relevant, more coherent, and more concise.

研究の動機と目的

• 既存の動画キャプション手法が動画の時間的構造と物語の流れを適切に一致させず、重複や一貫性の欠如した記述を生成するという限界を是正すること。
• 意味的に豊かで言語的に一貫性のある段落長記述を生成すること。繰り返しを避け、物語の進行を維持すること。
• 段落内の連続する文の依存関係をモデル化すること。各新しい文を、以前の内容と時間的文脈に条件づけて生成すること。
• 文と段落の二重報酬を用いた自己最適化シーケンス学習（SCST）を導入することで、学習効率と性能を向上させること。
• プログレッシブでイベントベースの生成戦略が、エンドツーエンドまたは複数文ベースライン手法よりも優れた記述を生み出すことを実証すること。

提案手法

• フレームワークはまず、アクション検出を用いて候補となる動画イベントを特定し、時間的に局所化され、意味的に明確なセグメントのプールを作成する。
• 再帰的なLSTMネットワークが、視覚的特徴、時間的範囲、および以前に生成されたキャプション特徴に基づいて、次に記述するべきイベントを段階的に選択する。
• イベント選択と文生成は、文レベルのBLEUとROUGE、段落レベルのCIDErと自己BLEUという二重報酬を用いた強化学習の目的関数により、同時に最適化される。
• キャプション生成ネットワークは、選択されたイベントの視覚的特徴に注目するアテンションメカニズムを用い、LSTMの隠れ状態（以前の文脈を符号化）に条件づけて生成を行う。
• モデルは自己最適化シーケンス学習（SCST）を用いて訓練され、方策勾配の更新は、グリーディなシーケンスとサンプリングされたシーケンスの差分に基づいて行われる。
• 特徴統合により、視覚的特徴、時間的範囲情報、キャプション埋め込みが統合され、イベント選択の正確性と一貫性が向上する。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドの動画キャプションと比較して、イベントを段階的に選択し、文を逐次生成するプログレッシブで再帰的なフレームワークは、より一貫性があり、簡潔な段落記述を生成できるか？
• RQ2 次の文を時間的構造と以前の内容の両方に条件づけることで、動画記述における物語の一貫性はどの程度向上するか？
• RQ3 文レベルと段落レベルの二重報酬は、単一レベルの監視に比べて、生成された記述の質をどの程度向上させるか？
• RQ4 視覚的特徴、時間的範囲、キャプションの異なる特徴の組み合わせが、イベント選択のパフォーマンスと全体的なキャプション品質に与える影響は何か？
• RQ5 提案手法は、自動評価および人間評価の両面で、既存の高密度キャプションおよび階層的キャプションのベースラインを上回るか？

主な発見

• 提案されたMFTモデルは、ActivityNet CaptionsデータセットでCIDErスコア14.15を達成し、監視学習のみの手法（12.81）や他のベースラインを著しく上回った。
• イベント選択に視覚的特徴＋範囲＋キャプションの全組み合わせを用いることで最高のパフォーマンスが得られ、CIDErスコア14.15を記録した。視覚的特徴のみ（10.19）や部分的組み合わせよりも優れた性能を示した。
• 強化学習と二重報酬を用いることで、すべての指標が向上した。CIDErは監視学習の12.81から14.15に上昇し、Self-BLEUは56.57から45.80に低下し、重複の削減が確認された。
• 人間評価では、MFTが最も関連性が高く、一貫性があり、簡潔な段落を生成することが判明し、全3基準で60％のユーザーがMFTを最良の選択と評価した。
• 定性的な結果から、MFTはDense-Caption-NMS、Hierarchical-RNN、Semantic-Sumなどのベースラインと比較して、繰り返しが少なく、物語の流れがより自然な記述を生成することが示された。
• イベント選択におけるS3トレーニング方式（部分的にサンプリングされたネガティブ例）はS1およびS2を上回り、トレーニングにおける正例と負例のバランスの重要性を強調した。