[論文レビュー] Deep Learning Approaches on Image Captioning: A Review

Taraneh Ghandi, Hamid Reza Pourreza+1 more|arXiv (Cornell University)|Jan 31, 2022

Multimodal Machine Learning Applications被引用数 13

ひとこと要約

本論文は2018年から2022年までの画像キャプション生成におけるディーブラーニング手法を包括的にレビューし、エンコーダデコーダ、アテンションベース、シーングラフ、ビジョン言語事前学習（VLP）モデルに分類している。ビジョン言語事前学習とトランスフォーマーの優位性が顕著になり、ホワリケーションや文脈の喪失といった継続的な課題が指摘され、視覚障害者に特化したモデルの改善が提言されている。

ABSTRACT

Image captioning is a research area of immense importance, aiming to generate natural language descriptions for visual content in the form of still images. The advent of deep learning and more recently vision-language pre-training techniques has revolutionized the field, leading to more sophisticated methods and improved performance. In this survey paper, we provide a structured review of deep learning methods in image captioning by presenting a comprehensive taxonomy and discussing each method category in detail. Additionally, we examine the datasets commonly employed in image captioning research, as well as the evaluation metrics used to assess the performance of different captioning models. We address the challenges faced in this field by emphasizing issues such as object hallucination, missing context, illumination conditions, contextual understanding, and referring expressions. We rank different deep learning methods' performance according to widely used evaluation metrics, giving insight into the current state of the art. Furthermore, we identify several potential future directions for research in this area, which include tackling the information misalignment problem between image and text modalities, mitigating dataset bias, incorporating vision-language pre-training methods to enhance caption generation, and developing improved evaluation tools to accurately measure the quality of image captions.

研究の動機と目的

• 2018年から2022年までの画像キャプション生成におけるディーブラーニング手法について、体系的かつ最新のレビューを提供し、既存のサーベイにおけるギャップを埋める。
• 標準化された評価指標とデータセットを用いて、最近のモデルの性能を分析する。
• オブジェクトのホワリケーション、文脈理解、照明への感受性といった継続的な課題を特定する。
• 視覚障害者向けに画像キャプションの潜在的価値がまだ十分に活用されていないこと、およびタスク特化型のモデル設計を提唱する。
• ビジョン言語事前学習、トランスフォーマー、グラフベース表現が、キャプション品質の向上に果たす役割を検討する。

提案手法

• 画像キャプション手法をエンコーダデコーダ、アテンションベース、シーングラフ、ビジョン言語事前学習（VLP）に分類する。
• MS COCO や Flicker30k といった広く使われているデータセットをレビューし、BLEU や ROUGE、CIDEr といった標準的指標を用いて性能を評価する。
• マスクモデル化と対照的学習を用いて視覚的・言語的表現を統合するビジョン言語事前学習（VLP）技術の統合を分析する。
• 画像特徴とテキストトークン間のクロスアテンションにトランスフォーマーを活用し、長距離依存性のモデリングを可能にする。
• 1つの視覚エンコーダーでグリッド特徴を出力し、エンドツーエンドのクロスモーダル統合を実現する検出器フリーなアーキテクチャを評価する。
• エンティティ間の複雑な関係をモデル化し、推論力と構成的汎化能力を向上させるためにシーングラフの利用を検討する。

実験結果

リサーチクエスチョン

• RQ1 2018年から2022年までの画像キャプション生成におけるディーブラーニングアーキテクチャの進化はどのようなもので、どの手法カテゴリが性能を支配しているか？
• RQ2 ビジョン言語事前学習とトランスフォーマーに基づくモデルは、従来の手法と比較してどれほどキャプション品質を向上させているか？
• RQ3 ホワリケーション、文脈の喪失、データセットバイアスといった、モデル性能を妨げる主な課題は何か？
• RQ4 最先端のモデルがなぜ視覚障害者にとって効果的なビジュアルアシスタントとして機能していないのか？
• RQ5 今後のモデルは、アクセシビリティのニーズに適合した、より密度高く文脈に即したキャプションを生成するために、どのように再設計されるべきか？

主な発見

• ビジョン言語事前学習（VLP）手法とトランスフォーマーが、最先端のモデルにおいて支配的となり、標準ベンチマークでの性能向上が顕著に見られた。
• CIDEr や BLEU といった自動指標で高いスコアを達成しているものの、人間が書いた記述と比較して意味的深さや事実の整合性に欠ける。
• オブジェクトのホワリケーションや文脈的詳細の欠落は、依然として複雑または曖昧なシーンで顕著な問題である。
• 現在のモデルは、キャプション構造において顕著な情報や空間的に関連する情報を優先していないため、視覚障害者には不適切である。
• 検出器フリーでエンドツーエンドのVLPモデルは有望であるが、検出器ベースのアーキテクチャに匹敵または上回る性能を発揮するためにはさらなる研究が必要である。
• 支援技術に特化したモデルの著しい不足があり、多くの手法が濃縮的で一般的なキャプションを生成する一方、密度が高くクエリ対応の可能な記述を生成するモデルが不足している。