[論文レビュー] Bidirectional Attentive Fusion with Context Gating for Dense Video Captioning

Jingwen Wang, Wenhao Jiang+3 more|arXiv (Cornell University)|Mar 31, 2018

Multimodal Machine Learning Applications参考文献 41被引用数 39

ひとこと要約

本稿では、密度的動画キャプションのための双方向的アテンション統合とコンテキストゲーティングを提案する。提案された双方向プロポーザルネットワークは、過去および未来の動画コンテキストを活用して時系列局所化を向上させる。また、コンテキストゲーティング統合機構により、プロポーザルの隠れ状態とC3D特徴量を統合し、特徴的なイベント表現を生成する。本手法は、ActivityNet Captionsデータセットにおいてメテオルスコアを100%向上（4.82から9.65に）させ、先行する最先端モデルを上回る性能を達成した。

ABSTRACT

Dense video captioning is a newly emerging task that aims at both localizing and describing all events in a video. We identify and tackle two challenges on this task, namely, (1) how to utilize both past and future contexts for accurate event proposal predictions, and (2) how to construct informative input to the decoder for generating natural event descriptions. First, previous works predominantly generate temporal event proposals in the forward direction, which neglects future video context. We propose a bidirectional proposal method that effectively exploits both past and future contexts to make proposal predictions. Second, different events ending at (nearly) the same time are indistinguishable in the previous works, resulting in the same captions. We solve this problem by representing each event with an attentive fusion of hidden states from the proposal module and video contents (e.g., C3D features). We further propose a novel context gating mechanism to balance the contributions from the current event and its surrounding contexts dynamically. We empirically show that our attentively fused event representation is superior to the proposal hidden states or video contents alone. By coupling proposal and captioning modules into one unified framework, our model outperforms the state-of-the-arts on the ActivityNet Captions dataset with a relative gain of over 100% (Meteor score increases from 4.82 to 9.65).

研究の動機と目的

• 密度的動画キャプションにおける一方向時系列モデリングの制限、特にプロポーザル生成時に将来のコンテキストを無視する点を是正すること。
• 同じ時刻に終了する重複するイベントを区別できない既存手法の欠陥を解消し、イベント表現を向上させること。
• コンテキストゲーティング機構を用いて、イベントコンテンツと周囲のコンテキストの寄与度を動的にバランスさせることで、キャプション生成を向上させること。
• プロポーザルとキャプション生成モジュールを統合し、エンドツーエンドで学習可能なフレームワークを構築することで、性能を向上させること。
• 外部データに依存せずに、ActivityNet Captionsデータセットで最先端の性能を達成すること。

提案手法

• 動画を前向きおよび後向きに処理することで、過去および未来のコンテキストを同時に符号化する二重パスネットワーク「Bidirectional SST」を提案し、プロポーザル予測に活用する。
• アテンション機構を用いて、プロポーザルの隠れ状態とC3D特徴量を統合し、より特徴的なイベント表現を生成する。
• デコード段階で、イベント特徴量とコンテキスト特徴量の寄与度を適応的に制御するコンテキストゲーティング機構を導入する。
• 推論段階で、プロポーザルスコアとキャプションの信頼度の両方を考慮して、高信頼度のプロポーザル-キャプションペアを選択するための統合順序付けを実施する。
• プロポーザルとキャプション生成の目的関数を統合した損失関数を用いて、システム全体をエンドツーエンドで学習する。
• 各デコードステップでの特徴表現を強化するために、時系列差分アテンション（TDA）を適用する。

実験結果

リサーチクエスチョン

• RQ1 動画コンテキストの双方向モデリングは、密度的動画キャプションにおける時系列行動プロポーザル生成の正確性を向上させることができるか？
• RQ2 C3Dのような動画クリップ特徴量とプロポーザルの隠れ状態を統合することで、重複するイベントに対してもより区別可能なイベント表現が得られるか？
• RQ3 イベント特徴量とコンテキスト特徴量の寄与度を動的にバランスさせるコンテキストゲーティング機構は、より正確で自然な言語記述をもたらすか？
• RQ4 プロポーザルとキャプションの最適化を統合したエンドツーエンドフレームワークは、分離または単一モodalなアプローチを上回る性能を発揮するか？
• RQ5 長時間または複雑なイベントにおいて、モデルの性能はどのように変化するか？特に、長時間の動画や複雑なアクティビティカテゴリにおいての性能は？

主な発見

• 提案されたBidirectional SSTは、将来のコンテキストを組み込むことで、プロポーザル品質を顕著に向上させ、一方向手法を上回った。
• C3D特徴量とプロポーザル隠れ状態の統合により、顕著な性能向上が得られた。ActivityNet Captionsデータセットでは、メテオルスコアが100%相対的に向上（4.82から9.65に）した。
• コンテキストゲーティング機構により、イベント特徴量とコンテキスト特徴量のバランスを動的に制御でき、より正確で意味的に整合性のある記述が得られた。
• 推論段階での統合順序付けにより、低品質なプロポーザル-キャプションペアをフィルタリングすることで、システムの信頼度と性能が向上した。
• 短～中程度の時間のイベント（例：10～60秒）では最も高い性能を示したが、非常に長いプロポーザル（60秒以上）では性能が低下した。これは、長時間シーケンスの理解における継続的な課題を示している。
• 多様なアクティビティカテゴリにわたり強力な性能を発揮した。特に「テニスのサービスとボールの跳ね返り」（メテオル：15.1）および「スキー」（14.7）で最高スコアを記録したが、「空手の動作」（5.4）のような複雑または曖昧な行動ではスコアが低かった。