[論文レビュー] Multimodal Memory Modelling for Video Captioning

Junbo Wang, Wei Wang+3 more|arXiv (Cornell University)|Nov 17, 2016

Multimodal Machine Learning Applications参考文献 42被引用数 8

ひとこと要約

本稿では、長期間にわたる視覚的・言語的依存関係をモデル化し、グローバルな視覚的注目をガイドする共有メモリを用いる、動画キャプションのためのマルチモーダルメモリモデル（M³）を提案する。LSTMに基づくデコーディングとCNNに基づく動画エンコーディングに外部メモリを統合することで、MSVDおよびMSR-VTTで最先端の手法を上回り、BLEU@4で最大26.9%、METEORで8.5%の向上を達成する。

ABSTRACT

Video captioning which automatically translates video clips into natural language sentences is a very important task in computer vision. By virtue of recent deep learning technologies, e.g., convolutional neural networks (CNNs) and recurrent neural networks (RNNs), video captioning has made great progress. However, learning an effective mapping from visual sequence space to language space is still a challenging problem. In this paper, we propose a Multimodal Memory Model (M3) to describe videos, which builds a visual and textual shared memory to model the long-term visual-textual dependency and further guide global visual attention on described targets. Specifically, the proposed M3 attaches an external memory to store and retrieve both visual and textual contents by interacting with video and sentence with multiple read and write operations. First, text representation in the Long Short-Term Memory (LSTM) based text decoder is written into the memory, and the memory contents will be read out to guide an attention to select related visual targets. Then, the selected visual information is written into the memory, which will be further read out to the text decoder. To evaluate the proposed model, we perform experiments on two publicly benchmark datasets: MSVD and MSR-VTT. The experimental results demonstrate that our method outperforms the state-of-theart methods in terms of BLEU and METEOR.

研究の動機と目的

• 長期間の視覚的・言語的依存関係をモデル化する課題に取り組む。これは、従来のRNNベースのモデルが長期間のシーケンスにおいて消失勾配問題を抱えるため、困難である。
• 共有メモリ機構を用いて、関連する視覚的ターゲットの選択を明示的にガイドすることで、グローバルな視覚的注目を改善する。
• LSTMの隠れ状態にのみ依存する単一の視覚的表現や注目メカニズムの限界を克服する。
• マルチモーダルメモリが、多様なベンチマークデータセットにおける動画キャプションのパフォーマンス向上に有効であることを示す。
• 異なる視覚的特徴抽出器がキャプション品質およびメモリ統合に与える影響を調査する。

提案手法

• 複数回のリードおよびライト操作を通じて、視覚的および言語的表現を格納・取得するマルチモーダルメモリマトリクス（Mem）を導入する。
• フレームレベルの特徴を抽出するため、CNNベースの動画エンコーダ（例：Inception-V3、ResNet、VGG-19）を用い、入力動画表現を形成する。
• LSTMベースのテキストデコーダを実装し、以前の隠れ状態とマルチモーダルメモリから読み取ったコンテンツの両方に条件づけられた単語生成を実現する。
• LSTMの隠れ状態ではなく、メモリリードの内容を用いて視覚的注目をガイドすることで、より正確でグローバルなターゲット選択を可能にする。
• デコーディングステップごとに2回のライト操作を実施する：(1) LSTMデコーダの隠れ状態をメモリに書き込む、(2) 注目によって選択された視覚的特徴（メモリに書き込む）。
• 双方向のメモリ相互作用を可能にする：メモリから読み取った内容で注目とデコーダをガイドし、同時にマルチモーダルコンテキストを保持・更新する。

実験結果

リサーチクエスチョン

• RQ1 共有マルチモーダルメモリは、動画キャプションにおける視覚的および言語的シーケンス間の長期間依存関係を効果的にモデル化できるか？
• RQ2 LSTM隠れ状態に基づく注目ではなく、メモリリードの内容を用いて視覚的注目をガイドすることで、生成キャプションの関連性と正確性が向上するか？
• RQ3 マルチモーダルメモリ統合は、異なる視覚的特徴抽出器（例：Inception-V3、VGG-19、C3D）のパフォーマンスにどのように影響を与えるか？
• RQ4 提案されたM³モデルは、MSVDおよびMSR-VTTなどの多様なベンチマークで、一貫して最先端の手法を上回る性能を示せるか？
• RQ5 マルチモーダルメモリと組み合わせた場合、動きに敏感な特徴（例：C3D）と外観のみの特徴（例：VGG-19）の両者において、それぞれの貢献度は何か？

主な発見

• MSVDでGoogleNet特徴を用いた場合、ベースラインのSAモデルに比べ、BLEU@4で26.9%の相対的向上、METEORで8.5%の向上を達成した。
• Inception-V3特徴を用いたM³-inceptionは、MSVDでVGG-19、ResNet、GoogleNet特徴を用いたモデルを上回る最高のパフォーマンスを達成した。
• MSR-VTTでは、M³モデルが対応するSAベースラインを一貫して上回り、VGG-19とC3D特徴を組み合わせたM³-VCは、比較対象のすべての手法を上回るBLEUおよびMETEORスコアを達成した。
• MSR-VTTでは、C3D特徴（動きをエンコード）を用いた場合、VGG-19特徴よりも高いパフォーマンスを示し、このデータセットでは動きの情報が重要であることが示された。
• 視覚的検査の結果、M³はより正確なオブジェクト用語（例："basketball" は "soccer ball" ではなく）を生成し、関連するターゲット（例："dog" は "guitar" ではなく）に対してグローバルな注目を適用していることが確認された。
• 異なる視覚的特徴を用いたモデルのパフォーマンス順位は、そのImageNet分類精度と密接に相関しており、高品質な視覚的表現の重要性が裏付けられた。