[論文レビュー] Aligning where to see and what to tell: image caption with region-based attention and scene factorization

Junqi Jin, Kun Fu+3 more|arXiv (Cornell University)|Jun 20, 2015

Multimodal Machine Learning Applications参考文献 28被引用数 106

ひとこと要約

この論文は、画像の領域ごとの視覚的注目移動を、キャプションの語の逐次的生成と一致させる新しい画像キャプション生成モデルを提案する。領域ベースの注目メカニズムと、シーン固有の文脈モデリングを組み合わせたシーン因子化LSTMを用いる。本手法は、局所的視覚特徴とグローバルなシーン意味を統合的に活用することで、キャプションの正確性と関連性を向上させ、Flickr8K、Flickr30K、MSCOCOデータセットで最先端の性能を達成する。

ABSTRACT

Recent progress on automatic generation of image captions has shown that it is possible to describe the most salient information conveyed by images with accurate and meaningful sentences. In this paper, we propose an image caption system that exploits the parallel structures between images and sentences. In our model, the process of generating the next word, given the previously generated ones, is aligned with the visual perception experience where the attention shifting among the visual regions imposes a thread of visual ordering. This alignment characterizes the flow of "abstract meaning", encoding what is semantically shared by both the visual scene and the text description. Our system also makes another novel modeling contribution by introducing scene-specific contexts that capture higher-level semantic information encoded in an image. The contexts adapt language models for word generation to specific scene types. We benchmark our system and contrast to published results on several popular datasets. We show that using either region-based attention or scene-specific contexts improves systems without those components. Furthermore, combining these two modeling ingredients attains the state-of-the-art performance.

研究の動機と目的

• 視覚的認知（注目が顕著な画像領域を移動する）と言語的生成（語が逐次的に生成される）の間の並列構造をモデル化すること。
• 高レベルの意味的シーンタイプ（例：台所、スポーツ）に適応する言語モデルを、シーン固有の文脈を導入することで画像キャプションの品質を向上させること。
• グローバルな画像特徴表現の限界を克服するため、局所的視覚領域を用いて言語的概念と細分化された一致を実現すること。
• 領域ベースの注目とシーン固有の文脈モデリングを組み合わせることで、優れたキャプション生成性能が得られることを示すこと。

提案手法

• モデルは、共通の「抽象的意味」の流れをエンコードする隠れ状態を用いて、次の注目領域と次の語を同時に予測する再帰的ニューラルネットワーク（LSTM）を用いる。
• 複数スケールで選択的探索を用いて視覚的領域を検出し、その特徴量を注目メカニズムの入力として使用することで、画像部分と語との細分化された一致を可能にする。
• グローバルな視覚特徴を用いて全画像からシーンベクトルを抽出し、言語モデルを条件づけることで、シーン固有の言語生成ポリシーを選択的に適用する。
• シーンベクトルは、LDAに基づくシーン分類器からのトピックベクトルとしてモデル化され、LSTMの語生成をそのシーンタイプに特有の語彙や文法に偏らせる。
• 領域注目とシーン文脈の両方が、キャプション生成目的関数とともに一括して最適化される、エンドツーエンドで学習可能なアーキテクチャを採用する。
• モデルは、正解キャプションに基づく交差エントロピー損失を用いて学習され、BLEU、ROUGE、METEORの指標を用いて評価される。

実験結果

リサーチクエスチョン

• RQ1 画像領域を横断する視覚的注目移動のプロセスを、キャプションの語の逐次的生成とどのように一致させられるか？
• RQ2 シーン固有の文脈は、生成キャプションの質と関連性をどの程度向上させるか？
• RQ3 領域ベースの注目とシーン固有の文脈モデリングを組み合わせることで、単独で用いる場合よりも優れた性能が得られるか？
• RQ4 シーンベクトルは、曖昧な状況や文脈に依存する状況において、生成キャプションの多様性と正確性にどのように影響を与えるか？

主な発見

• 提案手法は、Flickr8KおよびFlickr30Kデータセットで最先端の性能を達成し、BLEU-1スコアがGoogleのNICモデルに近い水準に達している。
• 領域ベースの注目を単独で組み込むことで、グローバルな画像特徴のみを用いるモデルに比べて顕著な性能向上が得られた。
• シーン固有の文脈の導入により、言語生成がそのシーンタイプに適した語彙や文法に偏るようになり、品質が向上した。これは、歪んだシーンベクトルを用いた定性的な例でも確認された。
• 領域ベースの注目とシーン固有の文脈モデリングを併用することで、最も優れた全体的な性能が得られ、両者のコンポONENTが補完的であることが示された。
• 定性的な分析から、注目重みが画像内の顕著な視覚的概念（例：「cow」や「grass」）とよく一致しており、シーンベクトルが文脈的に適切な記述へのキャプション生成を効果的にガイドしていることが確認された。