[論文レビュー] Memory-Attended Recurrent Network for Video Captioning

Wenjie Pei, Jiyuan Zhang+4 more|arXiv (Cornell University)|May 10, 2019

Multimodal Machine Learning Applications参考文献 61被引用数 16

ひとこと要約

本論文では、複数のトレーニング動画にわたる語のフルスペクトルな視覚的・意味的文脈をメモリモジュールを介して格納・アテンションすることで、キャプション品質を向上させるメモリ・アテンション付き再帰的ネットワーク（MARN）を提案する。この手法により語レベルの理解が向上し、語の適合性が明示的にモデル化され、MSR-VTTおよびMSVDデータセットで最先端の性能を達成し、CIDErスコアで最大1.4ポイントの向上を達成した。

ABSTRACT

Typical techniques for video captioning follow the encoder-decoder framework, which can only focus on one source video being processed. A potential disadvantage of such design is that it cannot capture the multiple visual context information of a word appearing in more than one relevant videos in training data. To tackle this limitation, we propose the Memory-Attended Recurrent Network (MARN) for video captioning, in which a memory structure is designed to explore the full-spectrum correspondence between a word and its various similar visual contexts across videos in training data. Thus, our model is able to achieve a more comprehensive understanding for each word and yield higher captioning quality. Furthermore, the built memory structure enables our method to model the compatibility between adjacent words explicitly instead of asking the model to learn implicitly, as most existing models do. Extensive validation on two real-word datasets demonstrates that our MARN consistently outperforms state-of-the-art methods.

研究の動機と目的

• 標準のエンコーダ・デコーダモデルがデコーディング中に単一の動画にのみ注目するという限界に対処すること。これは、各語の多様な視覚的文脈を捉えるのを妨げる。
• トレーニングデータ全体にわたる同じ語の複数の類似視覚的文脈にアクセス・アテンションできるようにすることで、語レベルの理解を向上させること。
• 再帰的ネットワークによる暗黙的な学習に頼るのではなく、デコーディング中に隣接する語の適合性を明示的にモデル化すること。
• 語彙内の各語に対して記録・取得する記憶情報を利用したメモリ拡張デコーダを用いることで、キャプション品質を向上させること。
• 実世界の動画キャプションベンチマークにおいて、最先端手法に対して一貫した性能向上を示すこと。

提案手法

• モデルは、CNNとRNNを用いた特徴抽出およびキャプション生成に従来のエンコーダ・デコーダフレームワークに従い、アテンションベースの再帰的デコーダを基本デコーダとして用いる。
• 語彙内の各語に対して記述的情報を格納するメモリ構造を導入し、複数のトレーニング動画からのさまざまな視覚的文脈とのフルスペクトルな対応関係を捉える。
• デコーディング中にメモリが動的にアテンションされ、より良い語の予測のための関連する視覚的・意味的パターンを取得できる。
• メモリ拡張デコーダは、格納された語表現とその文脈的関係を活用することで、隣接する語間の適合性を明示的にモデル化する。
• エンコーディング段階で2次元および3次元の視覚的特徴を統合し、より豊かな入力表現を提供し、特徴学習を向上させる。
• 注目メカニズムはデコーダ内およびメモリモジュール全体に適用され、関連する視覚的および意味的コンテンツに焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 複数の動画にわたる語の多様な視覚的文脈を捉えるメモリ機構は、動画キャプションの品質を向上させることができるか？
• RQ2 隣接する語の適合性を暗黙的な学習ではなく明示的にモデル化することで、従来のRNNに比べてより一貫性があり正確なキャプションが得られるか？
• RQ3 注目メカニズムを備えたメモリ拡張デコーダを統合することで、標準の動画キャプションベンチマークでの性能が向上するか？
• RQ4 MARNモデルは自動評価指標および人間評価において、最先端手法と比較してどのように差をつけるか？
• RQ5 メモリ構造は、『注ぐ』のような一般的な動作に対して、語レベルの理解をどの程度向上させるか？

主な発見

• MSR-VTTデータセットでは、MARNはCIDErスコア47.1を達成し、ベースデコーダ（45.7）を上回り、他のすべての最先端モデルを上回った。
• MSVDデータセットでは、MARNはCIDErスコア92.2を達成し、ベースデコーダ（89.9）および他の優れた手法を著しく上回った。
• 人間評価では、MARNがテストサンプルの43.3％で優れたキャプションを生成した一方、ベースデコーダが勝ったのは33.3％にとどまった。
• MSR-VTTおよびMSVDの両データセットにおいて、BLEU-4、METEOR、ROUGE-L、CIDErの4つの標準指標すべてで一貫した向上が見られた。
• 性能向上の要因は、メモリモジュールがフルスペクトルな視覚的・意味的対応関係を捉え、語の適合性を明示的にモデル化できる能力に起因する。
• ベースデコーダ自体が強力な性能（MSVDではCIDEr：89.9）を達成していることから、メモリ拡張設計が顕著で測定可能な向上をもたらしていることが示された。