[論文レビュー] From Show to Tell: A Survey on Deep Learning-based Image Captioning

Matteo Stefanini, Marcella Cornia+4 more|arXiv (Cornell University)|Jul 14, 2021

Multimodal Machine Learning Applications被引用数 12

ひとこと要約

本調査は、深層学習に基づく画像キャプション生成の包括的かつ最新の概要を提供し、視覚的エンコーダー、言語モデル、トレーニング戦略、データセット、評価指標を分析している。最先端手法の定量的比較を行い、一般化、多様性、信頼性に関する主要な課題を特定し、ビジョン・アンド・ランゲージシステムにおける評価プロトコルの改善とバイアス低減を提言している。

ABSTRACT

Connecting Vision and Language plays an essential role in Generative Intelligence. For this reason, large research efforts have been devoted to image captioning, i.e. describing images with syntactically and semantically meaningful sentences. Starting from 2015 the task has generally been addressed with pipelines composed of a visual encoder and a language model for text generation. During these years, both components have evolved considerably through the exploitation of object regions, attributes, the introduction of multi-modal connections, fully-attentive approaches, and BERT-like early-fusion strategies. However, regardless of the impressive results, research in image captioning has not reached a conclusive answer yet. This work aims at providing a comprehensive overview of image captioning approaches, from visual encoding and text generation to training strategies, datasets, and evaluation metrics. In this respect, we quantitatively compare many relevant state-of-the-art approaches to identify the most impactful technical innovations in architectures and training strategies. Moreover, many variants of the problem and its open challenges are discussed. The final goal of this work is to serve as a tool for understanding the existing literature and highlighting the future directions for a research area where Computer Vision and Natural Language Processing can find an optimal synergy.

研究の動機と目的

• 視覚的エンコーディングと言語モデリングのアプローチを含め、深層学習に基づく画像キャプション生成技術の包括的かつ最新のレビューを提供すること。
• 特に事前学習とマスキング言語モデリングを含むトレーニング戦略を分析し、それらが性能に与える影響を評価すること。
• 主要ベンチマークにおいて標準的でない指標を含め、両方の指標を用いて最先端モデルの評価と比較を行うこと。
• 一般化、多様性、公平性に関する未解決の課題を特定し、信頼性のあるAIのためのビジョン・アンド・ランゲージタスクにおける今後の研究方向性を提案すること。
• 現在の評価プロトコルの限界を強調し、より強固で再現可能で参照なしの指標を推進すること。

提案手法

• CNN、トランスフォーマー、検出ベース特徴量などの視覚的エンコーダーと、RNN、トランスフォーマー、BERTに類似したモデルなどの言語モデルの分類体系を構築し、その長所と短所を分析する。
• 教師あり微調整、強化学習、および大規模データ上でマスキング言語モデリング損失を用いた最近の事前学習のトレーニングパラダイムをレビューする。
• 標準ベンチマーク（例：COCO）とドメイン特化型データセットの両方でモデルの性能を比較し、一般化能力とロバストネスを評価する。
• BLEU、ROUGE、CIDEr、SPICEといった標準指標と、FID、CLIPスコアといった非標準指標を分析し、スムーズさ、関連性、意味的品質を評価する。
• 複数の指標を用いて50以上の最先端モデルを定量的に比較し、性能のトレンドとアーキテクチャの影響を明らかにする。
• 早期統合対後期統合、シングルストリーム対二重ストリーム設計、マルチモーダル事前学習の役割といったアーキテクチャのトレンドを検討する。

実験結果

リサーチクエスチョン

• RQ1 画像キャプション生成における視覚的エンコーディングと言語モデリングの分野で、最も影響力のあるアーキテクチャ的革新は何か？
• RQ2 特に事前学習とマスキング言語モデリングを含む異なるトレーニング戦略は、モデルの一般化能力と性能をどのように向上させるか？
• RQ3 標準的および非標準的評価指標は、人間の判断とどの程度相関しており、モデルの信頼性にどの程度寄与するか？
• RQ4 長尾概念や実世界の展開において、一般化、多様性、公平性に関する主な未解決課題は何か？
• RQ5 再現可能性を高め、モデル評価におけるバイアスを低減するために、評価プロトコルはどのように改善できるか？

主な発見

• ウェブクロールドの大規模データセット上で事前学習を実施することで、長尾概念の一般化能力と性能が著しく向上するが、データ品質の問題は依然として懸念事項のままである。
• BERTに類似した早期統合型と完全注意機構を備えたトランスフォーマー型アーキテクチャが、RNN やグローバル特徴量エンコーダーを凌駕し、COCOやその他のベンチマークで最先端の結果を達成している。
• CLIPスコアやSPICEといった非標準指標は、BLEUのような伝統的指標よりも人間の判断と強い相関を示しており、より意味のある評価の必要性が浮き彫りになっている。
• 標準ベンチマークでは高い性能を示すものの、モデルは依然として実世界のシナリオにおけるロバストネス、多様性、忠実性に課題を抱えており、特に新しいまたはレアな概念に直面した場合に顕著である。
• 検出ベース特徴量の優位性は低下しており、自己教師ありまたはマルチモーダル事前学習を用いたモデルが、より少ない教師信号で同等または優れた性能を達成している。
• 参照なしの評価指標と改善された評価プロトコルの必要性が高まっており、これは、非教師ありおよび信頼性のある画像キャプション生成システムへの移行を支援するものである。