[論文レビュー] Knowing When to Look: Adaptive Attention via A Visual Sentinel for Image Captioning

Jiasen Lu, Caiming Xiong+2 more|arXiv (Cornell University)|Dec 6, 2016

Multimodal Machine Learning Applications参考文献 35被引用数 53

ひとこと要約

本論文は、画像キャプション生成のための適応的アテンションメカニズムを提案し、視覚的センチネル（学習可能なフォールバック表現）を導入することで、画像に注目するか、言語モデリングに依存するかを決定する。動的ゲーティングによりアテンションを制御することで、外部の言語的特徴を用いずに、COCOおよびFlickr30Kで最先端の性能を達成し、キャプションの品質とアテンションの解釈可能性が向上する。

ABSTRACT

Attention-based neural encoder-decoder frameworks have been widely adopted for image captioning. Most methods force visual attention to be active for every generated word. However, the decoder likely requires little to no visual information from the image to predict non-visual words such as "the" and "of". Other words that may seem visual can often be predicted reliably just from the language model e.g., "sign" after "behind a red stop" or "phone" following "talking on a cell". In this paper, we propose a novel adaptive attention model with a visual sentinel. At each time step, our model decides whether to attend to the image (and if so, to which regions) or to the visual sentinel. The model decides whether to attend to the image and where, in order to extract meaningful information for sequential word generation. We test our method on the COCO image captioning 2015 challenge dataset and Flickr30K. Our approach sets the new state-of-the-art by a significant margin.

研究の動機と目的

• 固定アテンション機構の限界に対処する。固定アテンション機構では、'the' や 'of' といった視覚的でない語に対しても、各デコードステップで視覚的注目が強制される。
• モデルが視覚信号を用いるべき時と言語モデリングに依存すべき時を自律的に判断できるようにし、効率性と関連性を向上させる。
• 新たな視覚的センチネルを、潜在的なメモリフォールバックとして導入し、視覚的入力が不要な非視覚的語を生成するデコーダーの能力を強化する。
• 視覚的接地確率と弱教師あり局在化を用いて、モデルのアテンション行動を評価し、解釈可能性の向上を示す。
• 構文的または外部の知識に依存せずに、標準的な画像キャプションベンチマークで最先端の性能を達成する。

提案手法

• 視覚的センチネルベクトル（追加の潜在的表現）を備えた、変更されたLSTMを提案。視覚的注目が必要でない場合のフォールバックとして機能する。
• 各時刻ステップで、画像に注目するか視覚的センチネルを使用するかのバランスを制御する、センチネルゲートメカニズムを導入。
• 空間的アテンション機構を採用し、粗い $7 \times 7$ 特徴マップ上で関連する画像領域を局在化するアテンションマップを生成。
• 現在の隠れ状態に基づき、画像特徴または視覚的センチネルに注目するかを、微分可能ゲーティング機構により動的に決定する。
• IOUを指標として、アテンションマップを用いた弱教師あり局在化を適用し、空間的アテンションの正確性を評価。
• COCOおよびFlickr30Kデータセット上でクロスエントロピー損失を用い、エンドツーエンドに訓練し、キャプション生成を最適化する。

実験結果

リサーチクエスチョン

• RQ1 モデルは、視覚的注目を実行すべき時と内部の言語モデリングに依存すべき時を自律的に学習し、キャプション品質を向上させることができるか？
• RQ2 フォールバック表現としての視覚的センチネルの導入が、画像キャプションにおける性能とアテンションの解釈可能性を向上させるか？
• RQ3 モデルのアテンション行動は、視覚的語と非視覚的語のような語の意味的特徴とどのように相関するか？
• RQ4 モデルのアテンションマップは、画像領域の弱教師あり局在化に効果的に使用できるか？
• RQ5 適応的アテンションは、固定アテンション機構と比較して、より高い空間的局在化正確性を達成するか？

主な発見

• 提案された適応的アテンションモデルは、COCO 2015およびFlickr30K画像キャプションベンチマークで最先端の性能を達成した。
• モデルは視覚的語（例：'cat'、'red'、'dishes'）に対して画像に注目する割合を高く保ち、非視覚的語（例：'the'、'of'、'to'）に対しては低く保つことで、意味的認識を示した。
• 言語的相関が高い語（例：'cell' の後に 'phone' が続く）は、注目頻度が低くなる傾向にあり、モデルが言語依存関係を学習していることを示している。
• 適応的アテンションモデルの平均局在化正確性は 0.373 IOU であり、空間的アテンションベースライン（0.362 IOU）をわずかに上回り、空間的アテンションの向上を示している。
• モデルは 'crossing' を生成する際には 'crossed' よりも画像に注目する割合を高め、微妙な意味的・構文的違いを反映している。
• 視覚的センチネルメカニズムにより、非視覚的語の生成に視覚信号への依存が軽減され、学習の安定性とアテンションの焦点が向上した。