[論文レビュー] Text-guided Attention Model for Image Captioning

Jonghwan Mun, Minsu Cho+1 more|arXiv (Cornell University)|Dec 12, 2016

Multimodal Machine Learning Applications参考文献 28被引用数 5

ひとこと要約

本稿では、視覚的に類似した学習画像からの例示的キャプションを用いて視覚的注目をガイドするテキスト誘導型注目モデルを提案する。このアプローチにより、ごみだらけのシーンにおける詳細な記述が向上し、複数のコンSENSUSキャプションを用いることで堅牢なガイドラインを提供する。単一のモデルでMS-COCOベンチマークにおいて最先端の性能を達成し、従来の注目ベースの手法を上回る。

ABSTRACT

Visual attention plays an important role to understand images and demonstrates its effectiveness in generating natural language descriptions of images. On the other hand, recent studies show that language associated with an image can steer visual attention in the scene during our cognitive process. Inspired by this, we introduce a text-guided attention model for image captioning, which learns to drive visual attention using associated captions. For this model, we propose an exemplar-based learning approach that retrieves from training data associated captions with each image, and use them to learn attention on visual features. Our attention model enables to describe a detailed state of scenes by distinguishing small or confusable objects effectively. We validate our model on MS-COCO Captioning benchmark and achieve the state-of-the-art performance in standard metrics.

研究の動機と目的

• 学習データからの関連するテキスト記述を用いて視覚的注目をガイドすることで、画像キャプション生成を改善すること。
• ごみだらけのシーンにおける小さな物体や識別が難しい物体を区別する課題に、注目ガイドラインを用いて対処すること。
• 訓練および推論中にガイドラインキャプション内のノイズを軽減する堅牢な学習方式を開発すること。
• エンドツーエンドで訓練可能な注目メカニズムを用いて、MS-COCO画像キャプションベンチマークで最先端の性能を達成すること。

提案手法

• モデルは訓練データから視覚的に類似した画像を検索し、その例示的キャプションを注目ガイドラインとして取得する。
• 複数のコンセンサスキャプションを用いて注目学習をガイドし、過学習を低減するサンプリングベースの訓練方式を採用する。
• 注目メカニズムは、ガイドラインキャプションの意味的コンテンツに基づいて、関連する画像領域に動的に注目を向ける。
• 一般化を向上させるために、訓練中にスケジュール付きサンプリングを統合し、徐々に正解語から予測語に移行する。
• モデルはVGG-FCNまたはResNetを用いたCNNベースの画像エンコーダーと、注目機能付きLSTMデコーダーを用い、エンドツーエンドで訓練する。
• 推論時には、複数のガイドラインキャプションを用いて注目を安定化させ、個々のキャプションがノイズを含んでもキャプション品質を向上させる。

実験結果

リサーチクエスチョン

• RQ1 視覚的に類似した画像からの関連キャプションは、画像キャプションにおける視覚的注目を改善できるか？
• RQ2 複数の例示的キャプションを効果的に統合することで、ノイズの多いガイドラインに敏感になるのを軽減できるか？
• RQ3 テキスト誘導型注目を用いることで、特に小さな物体や曖昧な物体に対してより詳細かつ正確なキャプションが得られるか？
• RQ4 テキスト誘導型注目を備えた単一のモデルは、MS-COCOでアンサンブルベースの最先端手法を上回ることができるか？

主な発見

• VGG-FCNを用いた提案モデルOurs-ATT-kCCは、MS-COCOテストスプリットにおいて、ほとんどの標準指標で比較対象手法を上回る性能を達成した。
• 低精度のコンセンサスキャプション（mCC）をガイドラインとして使用しても、モデルは強固な性能を発揮し、ノイズの多いガイドラインに対しても耐性があることを示した。
• 画像エンコーダーにResNetを用いたモデルは、NIC や Semantic ATT といったアンサンブルベースのモデルを上回り、最先端の結果を達成した。
• 定性的な分析から、モデルは一様な注目やベースラインモデルと比較して、より詳細な記述（例：「半分に切られたサンドイッチ」）を生成することが確認された。
• 推論時に複数のガイドラインキャプションを用いることで、個々のキャプションが不正確であっても、堅牢性とキャプション品質が顕著に向上した。
• アンサンブルを用いない状態で優れた性能を達成しており、テキスト誘導型注目メカニズムの有効性が裏付けられた。