[論文レビュー] Image Captioning with Semantic Attention

Quanzeng You, Hailin Jin+3 more|arXiv (Cornell University)|Mar 12, 2016

Multimodal Machine Learning Applications参考文献 34被引用数 247

ひとこと要約

トップダウンのCNN特徴とボトムアップで検出された視覚概念をRNN内で融合させて画像キャプションを生成する意味的注意モデルを提案し，MS-COCOとFlickr30Kで最先端の性能を達成。

ABSTRACT

Automatically generating a natural language description of an image has attracted interests recently both because of its importance in practical applications and because it connects two major artificial intelligence fields: computer vision and natural language processing. Existing approaches are either top-down, which start from a gist of an image and convert it into words, or bottom-up, which come up with words describing various aspects of an image and then combine them. In this paper, we propose a new algorithm that combines both approaches through a model of semantic attention. Our algorithm learns to selectively attend to semantic concept proposals and fuse them into hidden states and outputs of recurrent neural networks. The selection and fusion form a feedback connecting the top-down and bottom-up computation. We evaluate our algorithm on two public benchmarks: Microsoft COCO and Flickr30K. Experimental results show that our algorithm significantly outperforms the state-of-the-art approaches consistently across different evaluation metrics.

研究の動機と目的

• トップダウンとボトムアップのキャプション生成アプローチのギャップを意味的注意を活用して埋めることを動機づけ、解決する。
• 意味的に意味のある概念に注意を向け、それを生成時のグローバルな画像特徴と融合するモデルを開発する。
• 標準ベンチマークでのキャプション品質の改善を実証し、注意機構の挙動と属性予測を分析する。

提案手法

• 画像からCNNのグローバルな視覚特徴と、画像から検出された視覚属性のセット A_i の両方を抽出する。
• LSTM/RNNを用いてキャプションを生成し、過去の単語に条件付けられた属性を選択する入力注意機構 α_t^i を使用する。
• 出力注意機構 β_t^i を組み込み、 attended attributes と現在のRNN状態に基づく単語予測を条件付けする。
• bilinear/埋め込みベースの射影によって注意スコアを計算し、入力と出力の属性埋め込みの重み付き和を作成して再帰状態と統合する。
• 負の対数尤度目的関数に加え、属性全体の注意を促進する正則化項 g(alpha)、g(beta) を用いてエンドツーエンドで訓練する。
• 弱ラベル付き画像を用いるノンパラメトリックな属性予測（k-NN）と、ランク損失多ラベル分類器および完全畳み込みネットワークによるパラメトリック法を予測する。

実験結果

リサーチクエスチョン

• RQ1 検出された視覚概念に対する意味的注意は、純粋なトップダウンまたはボトムアップアプローチを超えて画像キャプション生成を改善できるか。
• RQ2 属性に対する入力注意と出力注意をどのように設計してRNN状態の更新と単語予測に最も影響を与えるべきか。
• RQ3 異なる属性予測戦略（k-NN、RK、FCN）を用いることがキャプション品質に与える影響はどのようか。
• RQ4 グローバル特徴と意味的に注意された属性を組み合わせることは、標準指標（BLEU、METEOR、ROUGE-L、CIDEr）全体でより良い結果を生むか。

主な発見

• 意味的注意モデルは、MS-COCOとFlickr30Kで複数の指標において最先端の方法を大幅に上回る。
• 入力と出力の両方の機構を介した視覚属性への注意はキャプション品質を改善し、組み合わせが最良の結果を生む。
• FCNベースの属性予測は、ランキング損失やk-NNアプローチよりもキャプション性能への影響が堅牢な属性を提供する傾向がある。
• 上位3つの attended 属性を用いる融合戦略は、単純な最大値や連結と比較して最も良い性能を発揮する。
• Ground-truth 視覚属性は上限を提供し、大きな潜在的改善を示しており、属性の質がキャプション品質に強く影響することを示唆している。