[論文レビュー] Deep Visual-Semantic Alignments for Generating Image Descriptions

Andrej Karpathy, Li Fei-Fei|arXiv (Cornell University)|Dec 7, 2014

Multimodal Machine Learning Applications参考文献 58被引用数 145

ひとこと要約

本論文は、画像領域と自然言語フレーズの間の視覚的・意味的アライメントを学習するための深層ニューラルネットワークモデルを提案する。マルチモodal埋め込み空間を用い、画像文検索および高品質な領域レベルの画像記述生成において最先端の性能を達成する。マルチモーダル再帰ニューラルネットワークにより、全画像および領域レベルのキャプションタスクで検索ベースラインを上回る性能を発揮する。

ABSTRACT

We present a model that generates natural language descriptions of images and their regions. Our approach leverages datasets of images and their sentence descriptions to learn about the inter-modal correspondences between language and visual data. Our alignment model is based on a novel combination of Convolutional Neural Networks over image regions, bidirectional Recurrent Neural Networks over sentences, and a structured objective that aligns the two modalities through a multimodal embedding. We then describe a Multimodal Recurrent Neural Network architecture that uses the inferred alignments to learn to generate novel descriptions of image regions. We demonstrate that our alignment model produces state of the art results in retrieval experiments on Flickr8K, Flickr30K and MSCOCO datasets. We then show that the generated descriptions significantly outperform retrieval baselines on both full images and on a new dataset of region-level annotations.

研究の動機と目的

• 固定されたテンプレートやカテゴリに依存せず、画像領域に対して豊富で自由な形の自然言語記述を生成すること。
• 領域の位置が不明である大規模な画像文データセットにおいて、視覚的領域と対応するテキストフレーズのアライメントを学習する課題に取り組むこと。
• 硬直的な文法的ルールやテンプレートを用いずに、多様で文脈的に正確な記述を生成する生成モデルを開発すること。
• 人間によるラベル付けで得られた領域レベルのアノテーションを用いた新しいデータセットを用いて、記述の質を細分化して評価すること。

提案手法

• 文の断片をマルチモーダル埋め込み空間にマップするため、双方向RNNを用いて文の特徴を符号化する。
• 連続する語群と対応する画像領域との間のアライメントを、共有埋め込み空間を通じて学習するため、構造的ランキング目的関数を用いる。
• 画像特徴と以前に生成された語に条件づけられた注意メカニズムを用いて、語の生成を制御するマルチモーダル再帰ニューラルネットワークを訓練する。
• 明示的な領域アノテーションが存在しない画像文ペアで学習された共同埋め込みモデルを用いて、画像領域と文フレーズの潜在的アライメントを推論する。
• 2段階のアプローチを採用：まず、ランキングベースのモデルでアライメントを学習し、次に推論されたアライメント上で生成RNNをファインチューニングする。
• 画像領域のCNN特徴とRNN隠れ状態の組み合わせを用いて、文脈に適応した条件付きの自己回帰的テキスト生成を実現する。

実験結果

リサーチクエスチョン

• RQ1 明示的な領域アノテーションがなくても、深層ニューラルネットワークモデルは画像領域と自然言語フレーズの間の視覚的・意味的アライメントを効果的に学習できるか？
• RQ2 提案されたマルチモーダル埋め込み空間は、Flickr8K、Flickr30K、MSCOCOといった標準ベンチマークで、画像文検索において最先端の性能を達成できるか？
• RQ3 推論されたアライメント上で学習されたマルチモーダルRNNは、領域レベルのアノテーションにおいて、検索ベースラインを上回るより正確で多様な画像記述を生成できるか？
• RQ4 短く具体的な記述において、細分化された領域固有の記述に対して、モデルは全画像キャプションモデルと比較してどのように性能を発揮するか？

主な発見

• アライメントモデルは、Flickr8K、Flickr30K、MSCOCOデータセットにおいて、画像文検索で最先端の性能を達成し、従来手法を上回った。
• マルチモーダルRNNモデルは、領域レベルのアノテーションにおいて、BLEU-4スコア14.8を達成し、最近傍探索ベースラインの0.0を大きく上回った。
• 新しい領域レベルデータセットでは、RNNモデルがCIDErスコア61.6を達成したが、これは全フレームモデルの20.3を著しく上回った。短い文を生成するにもかかわらず、この結果は顕著である。
• METEOR（15.8 vs. 13.3）およびROUGE（35.1 vs. 21.0）のスコアにおいても、領域レベルモデルは全フレームモデルを上回り、より優れた意味的整合性と文の流れの自然さを示した。
• 領域レベルデータセットにおける人間の一致度はBLEU-4スコア22.0に達し、モデルの性能が人間レベルの整合性と同等であることを示した。
• 「ワイングラスがあるテーブル」といったレアなフレーズ（30件の学習インスタンス）ですら、多様な視覚的文脈においても、モデルが正しく把握し、生成できた。これは、モデルの堅牢な意味的根拠付けと生成能力を示している。