[論文レビュー] A Comprehensive Survey of Deep Learning for Image Captioning

Md Zakir Hossain, Ferdous Sohel+2 more|arXiv (Cornell University)|Oct 6, 2018

Multimodal Machine Learning Applications参考文献 141被引用数 12

ひとこと要約

この包括的なサーベイは、注目メカニズム、エンコーダデコーダ、マルチモーダルアーキテクチャを含む13の異なるアプローチに分類される、深層学習に基づく画像キャプション生成手法をレビューしている。標準的なデータセット（MSCOCOなど）とBLEU、ROUGE、METEOR、SPICEといった指標を用いて性能を評価し、注目メカニズムとマルチモーダル統合が、キャプションの質と意味的正確性の向上に寄与していることを強調している。

ABSTRACT

Generating a description of an image is called image captioning. Image captioning requires to recognize the important objects, their attributes and their relationships in an image. It also needs to generate syntactically and semantically correct sentences. Deep learning-based techniques are capable of handling the complexities and challenges of image captioning. In this survey paper, we aim to present a comprehensive review of existing deep learning-based image captioning techniques. We discuss the foundation of the techniques to analyze their performances, strengths and limitations. We also discuss the datasets and the evaluation metrics popularly used in deep learning based automatic image captioning.

研究の動機と目的

• 2015年以降に発表された、従来のサーベイでカバーが不足していた深層学習ベースの画像キャプション技術について、包括的なレビューを提供すること。
• 注目メカニズム、エンコーダデコーダ、マルチモーダルアプローチを含む13の異なる深層学習ベースの画像キャプション手法を分類・分析すること。
• MSCOCO、Flickr30k、Visual Genomeといった標準データセットを用いて、これらの手法の性能を評価・比較すること。
• BLEU、ROUGE、METEOR、CIDEr、SPICEといった広く用いられる評価指標の、文の流れ、適切さ、意味的正確性の評価能力について分析・対比すること。
• 現在の手法における限界を特定し、オープンドメインキャプション、外部知識の統合、教師あり・強化学習ベースの学習といった今後の研究方向性を提案すること。

提案手法

• 本論文は、注目メカニズム、エンコーダデコーダ、意味的コンセプトベースのモデルを含む13のカテゴリに分類された、深層学習ベースの画像キャプション手法の体系的分類を実施している。
• 標準ベンチマーク（MSCOCO、Flickr30k、Visual Genome）を用いて手法を評価しており、これらは学習・テストに適した多様で複数のキャプションが付与された画像を提供している。
• BLEU（n-gramの適合度）、ROUGE（再現率と文の流れ）、METEOR（セグメントレベルの整合性）、CIDEr（重要度）、SPICE（意味的正確性）といった複数の評価指標を用いて性能を分析している。
• CNN-LSTMエンコーダ、注目メカニズム、視覚的および言語的特徴を統合するマルチモーダル統合戦略といったアーキテクチャを比較している。
• 交差エントロピー損失を用いた教師あり学習を強調している一方で、多様性と品質の向上を目的とした強化学習やGANベースのアプローチについても議論している。
• 視覚的注目メカニズムが顕著な画像領域に焦点を当て、キャプションの関連性と一貫性の向上に果たす役割を強調している。

Figure 1. An overall taxonomy of deep learning-based image captioning.

実験結果

リサーチクエスチョン

• RQ1 注目メカニズム、エンコーダデコーダ、マルチモーダルモデルといった異なる深層学習アーキテクチャは、正確で多様な画像キャプションを生成する上でどのように比較されるか？
• RQ2 BLEU、ROUGE、METEOR、CIDER、SPICEといった既存の評価指標は、キャプションの質を測る上で、それぞれどのような長所と短所を有するか？
• RQ3 現在のモデルは、画像内の顕著な物体、属性、およびそれらの関係をどれほど正しく検出できていないか？
• RQ4 外部知識の統合や、教師なしまたは強化学習ベースの学習は、教師あり学習を超えてキャプション生成をどのように改善できるか？
• RQ5 オープンドメイン画像に対して、高品質で意味的に豊かで多様なキャプションを生成する上で、主な課題は何か？

主な発見

• 注目メカニズムを用いたモデルは、関連する画像領域に動的に焦点を当てるため、標準的なエンコーダデコーダアーキテクチャを上回り、生成キャプションの正確性と関連性が向上している。
• SPICEは意味的コンテンツを捉える能力が優れているため、BLEU や ROUGE のみに依存する評価よりも、キャプション品質の評価に効果的である。
• Gu らや Yao らの手法は高い意味的正確性を達成している一方、Rennie らや Lu らの手法はより優れた文の流れ、適切さ、文法的正確性を備えたキャプションを生成している。
• 進展は見られても、現在のモデルは複雑なシーンやオープンドメインの状況においても、重要な物体や関係性の検出に依然として困難を抱えている。
• 教師あり学習手法は大規模なアノテート済みデータセットに強く依存しているため、アノテーション依存性を低減するため、教師なしおよび強化学習アプローチの開発が急務である。
• 今後の研究は、オープンドメインキャプション、外部知識の統合、生成キャプションの多様性および事実の整合性の向上に注力すべきである。

Figure 2. A block diagram of multimodal space-based image captioning.