[論文レビュー] Watch, Listen, and Describe: Globally and Locally Aligned Cross-Modal Attentions for Video Captioning

Xin Wang, Yuan-Fang Wang+1 more|arXiv (Cornell University)|Apr 15, 2018

Multimodal Machine Learning Applications参考文献 24被引用数 15

ひとこと要約

本稿では、視覚的および音声的モダリティ間の階層的アテンション機構を用いて、グローバルおよびローカルな時間的ダイナミクスを統合的にモデリング・統合する、動画キャプションのための新規な階層的アライメントクロスモダリティアテンション（HACA）フレームワークを提案する。MSR-VTTで最先端の性能を達成し、特にBLEU-4（+43.4）およびMETEOR（+29.5）において顕著な向上を示し、従来のMFCCとは対照的に深層音声特徴（VGGish）の有効性を初めて実証した。

ABSTRACT

A major challenge for video captioning is to combine audio and visual cues. Existing multi-modal fusion methods have shown encouraging results in video understanding. However, the temporal structures of multiple modalities at different granularities are rarely explored, and how to selectively fuse the multi-modal representations at different levels of details remains uncharted. In this paper, we propose a novel hierarchically aligned cross-modal attention (HACA) framework to learn and selectively fuse both global and local temporal dynamics of different modalities. Furthermore, for the first time, we validate the superior performance of the deep audio features on the video captioning task. Finally, our HACA model significantly outperforms the previous best systems and achieves new state-of-the-art results on the widely used MSR-VTT dataset.

研究の動機と目的

• 動画キャプションにおいて、複数のモダリティ間の時間的構造モデリング、特に異なる粒度でのモデリングの欠如に対処すること。
• 視覚的および音声的特徴間のグローバルおよびローカルなアライメントを学習することで、マルチモーダル統合を向上させること。
• 動画キャプションにおいて、手作業で作成された特徴（MFCC）と比較して、深層音声埋め込み（VGGish）の有効性を検証すること。
• グローバルおよびローカルなコンテキスト学習を統合した一貫性のあるフレームワークを構築し、より優れた文生成を実現すること。

提案手法

• HACAフレームワークは、視覚的および音声的特徴それぞれに階層的アテンションエンコーダを備え、スタックされたLSTMを用いてローカルおよびグローバル表現を学習する。
• 2つのデコーダを採用：グローバルデコーダはハイレベルなモダリティコンテキストをアライメントし、ローカルデコーダはローカル特徴とグローバルコンテキストを統合して単語予測を行う。
• デコーディング中に関連する視覚的および音声的キューを動的に注目できるように、グローバルおよびローカルレベルでクロスモダリティアテンションを適用する。
• 従来のMFCCとは異なり、事前学習済みのResNetおよびVGGishネットワークを用いて深層視覚的および音声的埋め込みを抽出する。
• 階層的アテンション機構により、異なる粒度レベルでモダリティ間の顕著な時間的セグメントに注目することで、選択的統合を実現する。
• 教師あり学習により訓練され、ビームサーチ推論が適用可能であり、光学的フローまたはC3D特徴などの追加モダリティの統合も可能である。

実験結果

リサーチクエスチョン

• RQ1 視覚的および音声的モダリティ間でグローバルおよびローカルな時間的ダイナミクスをモデリングすることで、動画キャプションの性能が向上するか？
• RQ2 動画キャプションにおいて、深層音声埋め込み（VGGish）を用いることで、手作業で作成された特徴（MFCC）よりも優れたキャプション生成性能が得られるか？
• RQ3 階層的クロスモダリティアテンションは、時間的粒度の異なるレベルでマルチモーダル表現をアライメントおよび統合するためにどれほど効果的か？
• RQ4 グローバルおよびローカルコンテキスト学習を統合した一貫性のあるアテンション機構は、単一レベルのアテンションを持つモデルを上回る性能を発揮するか？

主な発見

• HACAモデルは、MSR-VTTデータセットでBLEU-4スコア43.4を達成し、以前の最良手法（CIDEnt-RL）を2.9ポイント上回り、新たな最先端性能を達成した。
• METEORスコアが29.5に向上し、以前の最良の28.4から顕著な向上を示し、より自然な表現と意味的整合性の向上を裏付けた。
• 深層VGGish音声特徴の使用により、CIDErがMFCCの47.5から48.2に向上し、動画キャプションにおいてMFCCよりも優れた性能を示した。
• アブレーションスタディの結果、アライメント機構を削除したHACA w/o alignでは性能が低下し、階層的クロスモダリティアテンションの重要性が裏付けられた。
• 学習曲線から、HACAはCM-ATTおよびHACA w/o alignよりも高速に収束し、より高い検証CIDErスコアを達成しており、モデルの強力な能力を示している。
• ベースラインのATT(v)モデル（視覚的特徴のみ使用）と比較して、CIDErで4.8%の向上を達成し、音声モダリティ統合の価値を強力に示した。