[論文レビュー] Show, Attend and Tell: Neural Image Caption Generation with Visual Attention

Kelvin Xu, Jimmy Ba+6 more|arXiv (Cornell University)|Feb 10, 2015

Multimodal Machine Learning Applications参考文献 52被引用数 7,495

ひとこと要約

注意機構を用いた画像キャプション生成モデルを導入。ソフト（決定論的）およびハード（確率的）注意機構を end-to-end 学習で訓練し、Flickr8k, Flickr30k, MS COCO で最先端の結果を達成し、解釈可能な視覚的注意マップを提供。

ABSTRACT

Inspired by recent work in machine translation and object detection, we introduce an attention based model that automatically learns to describe the content of images. We describe how we can train this model in a deterministic manner using standard backpropagation techniques and stochastically by maximizing a variational lower bound. We also show through visualization how the model is able to automatically learn to fix its gaze on salient objects while generating the corresponding words in the output sequence. We validate the use of attention with state-of-the-art performance on three benchmark datasets: Flickr8k, Flickr30k and MS COCO.

研究の動機と目的

• 画像領域と生成語を整列させるために視覚的注意を活用して画像キャプションを動機づけ、取り組むこと。
• 統一エンコーダ-デコーダ枠組みの中で2つの注意変種（ソフト/決定論的とハード/確率的）を開発すること。
• 注意の可視化と定量的ベンチマークを通じてエンドツーエンドの学習可能性と解釈性を示すこと。

提案手法

• Encoder: 空間的ディテールを保持するために下位のCNN層から畳み込み特徴注釈を抽出する (a_i は R^D のもので、L 個の位置を持つ).
• Decoder: LSTMベースの言語モデルが、画像注釈を注意することから導出される動的なコンテキストベクトル z_hat_t に conditioned してキャプションを生成する。
• Attention mechanism: e_ti = f_att(a_i, h_{t-1}) を計算し、注意重み alpha_ti を正規化して得る; コンテキストベクトル z_hat_t = phi({a_i}, {alpha_ti}).
• Soft attention: 期待されるコンテキストベクトルを用いてエンドツーエンド微分可能なトレーニングを行い、二重に確率的正則化を含む。
• Hard attention: 注意位置 s_t を潜在変数として扱い、モンテカルロサンプリングと REINFORCE による分散削減付きの変分下界 L_s を最大化する; ベースラインとエントロピー項を含む。
• Training: SGD系（RMSProp/Adam）でエンドツーエンド最適化、事前学習済み ConvNet 特徴（Oxford VGG/Imagenet）、語彙を10,000語に固定して学習; Flickr8k, Flickr30k, COCO で BLEU および METEOR を評価。

実験結果

リサーチクエスチョン

• RQ1 明示的な物体検出器なしに注意機構は生成語を関連する画像領域と整列させることを学べるか？
• RQ2 ソフト（決定論的）とハード（確率的）注意変種はキャプション品質と解釈性の点でどう比較されるか？
• RQ3 視覚的注意を組み込むことは標準の画像キャプションデータセットで最先端の性能を改善するか？
• RQ4 キャプション生成中の時間に沿ったモデルの注意を可視化することでどんな洞察が得られるか？

主な発見

• 注意ベースのモデルは BLEU および METEOR 指標で Flickr8k, Flickr30k, MS COCO において最先端の性能を達成。
• Soft attention は標準的な逆伝播を用いたエンドツーエンド学習を可能にし、顕著な画像領域と整合する解釈可能な注意マップを提供する。
• Hard attention は離散的な焦点位置を学習し、分散削減技術を伴う変分下界（REINFORCE）を最大化して最適化する。
• 二重確率的正規化とゲーティングスカラー beta はキャプション品質を改善し、画像全体の視覚的探索を奨励する。
• モデルは下位畳み込み層の CNN特徴を用い、空間情報を保持することで、物体中心の記述を超えるより記述的なキャプションを可能にする。
• 定性的な可視化は、注意される領域と生成語の整合を示し、キャプション生成プロセスの解釈性を提供する。