[論文レビュー] Image Captioning In the Transformer Age

Yang Xu, Li Li+4 more|arXiv (Cornell University)|Apr 15, 2022

Multimodal Machine Learning Applications被引用数 6

ひとこと要約

このサーベイは、トランスフォーマー時代における画像キャプション生成の進化を調査し、大規模なビジョン・ランゲージモデルの台頭にもかかわらず、画像キャプション生成がマルチモーダルAIの発展に不可欠であると主張する。エンド・ツー・エンド学習を可能にするために、均質的なトランスフォーマー基盤アーキテクチャの採用を提唱するとともに、キャプション研究が自己教師あり学習、プロンプトベースモデル、純粋なビジョンタスクの向上に寄与する仕組みとして、より豊富で意味論的に根拠のあるアノテーションを提供することを示している。

ABSTRACT

Image Captioning (IC) has achieved astonishing developments by incorporating various techniques into the CNN-RNN encoder-decoder architecture. However, since CNN and RNN do not share the basic network component, such a heterogeneous pipeline is hard to be trained end-to-end where the visual encoder will not learn anything from the caption supervision. This drawback inspires the researchers to develop a homogeneous architecture that facilitates end-to-end training, for which Transformer is the perfect one that has proven its huge potential in both vision and language domains and thus can be used as the basic component of the visual encoder and language decoder in an IC pipeline. Meantime, self-supervised learning releases the power of the Transformer architecture that a pre-trained large-scale one can be generalized to various tasks including IC. The success of these large-scale models seems to weaken the importance of the single IC task. However, we demonstrate that IC still has its specific significance in this age by analyzing the connections between IC with some popular self-supervised learning paradigms. Due to the page limitation, we only refer to highly important papers in this short survey and more related works can be found at https://github.com/SjokerLily/awesome-image-captioning.

研究の動機と目的

• 従来のCNN-RNN非均質アーキテクチャが、視覚的および言語的モジュール間の構造的不適合性により、エンド・ツー・エンド学習が困難である点を分析する。
• 大規模事前学習ビジョン・ランゲージモデルの時代においても、画像キャプション生成タスクが独自の意義を保有している理由を主張する。
• アテンションメカニズム、構造的インダクティブバイアス、トレーニング目的といった、画像キャプション研究から得られる技術が、新興のプロンプトベースおよび自己教師ありビジョン・ランゲージモデルの発展にどのように寄与できるかを調査する。
• 画像キャプションデータが、オブジェクト、属性、関係性といった豊富な意味的・関係的情報を含んでいるため、分類や検出といった純粋なビジョンタスクを解決するために活用可能であるが、学習効率の課題があることの実証を行う。
• 非均質なエンコーダ・デコーダパイプラインに内在するエンド・ツー・エンド学習の障壁を克服するため、画像キャプションにトランスフォーマー基盤の均質的アーキテクチャを採用すべきであると提唱する。

提案手法

• 視覚エンコーダと言語デコーダの両方がトランスフォーマー構造で実装された均質的トランスフォーマー基盤アーキテクチャを提案し、統一的最適化とエンド・ツー・エンド学習を可能にする。
• 非均質時代の3つの主要戦略（強力な視覚エンコーダ、高度なアテンションメカニズム、構造的インダクティブバイアス）をレビュー・拡張し、これらをトランスフォーマーフレームワークに適応させる。
• CLIPのような大規模自己教師あり事前学習パラダイムと画像キャプションの関係を分析し、共通の目的と補完的強みを強調する。
• キャプションデータセットからの画像・テキストペアが、データ効率の課題があるものの、ゼロショット転移を可能にする意味的アノテーション豊富なデータソースとしての役割を強調する。
• 概念の分離を可能にするモジュラー・ネットワークの導入を議論し、データ利用効率の向上とトレーニング負荷の低減を実現する。
• 強化学習に基づくトレーニング目的や、CIDErのようなキャプション研究で開発された評価指標が、プロンプトベースビジョン・ランゲージモデルのトレーニングと評価にどのように活用できるかを提言する。

実験結果

リサーチクエスチョン

• RQ1 従来のCNN-RNNアーキテクチャがなぜエンド・ツー・エンド学習に本質的に不適切であり、どのようなアーキテクチャ的シフトが解決を可能にするのか？
• RQ2 大規模ビジョン・ランゲージモデルの台頭が、画像キャプションタスクの関連性と意義にどのように影響を及ぼすのか？
• RQ3 画像キャプション研究から得られる技術が、プロンプトベースおよび自己教師ありビジョン・ランゲージモデルの発展にどのような形で寄与できるのか？
• RQ4 画像キャプションデータは、分類や検出といった純粋なビジョンタスクを効果的に解決するために活用可能か？その際の課題は何か？
• RQ5 キャプション研究から得られる構造的インダクティブバイアスとアテンションメカニズムが、現代のトランスフォーマー基盤マルチモーダルモデルの性能向上に果たす役割は何か？

主な発見

• 従来のCNN-RNN非均質アーキテクチャは、視覚的モジュールと言語的モジュール間に共有コンponentがないため、エンド・ツー・エンド学習に本質的制限を受けており、視覚エンコーダへの勾配伝播が妨げられる。
• トランスフォーマー・アーキテクチャは、視覚エンコーダと言語デコーダを同じアテンションベースのメカニズムで統合することで、均質的ソリューションを提供し、エンド・ツー・エンド最適化を可能にする。
• CLIPのような大規模事前学習モデルの成功にもかかわらず、画像キャプション生成は、マルチモーダル学習に意味的根拠のある豊富な監視信号を提供する基盤的タスクとして不可欠である。
• オブジェクト、属性、関係性を包括的にアノテートした画像キャプションデータは、固定された数値ラベルを持つ従来のデータセットよりも、意味的・多様性に富んだ監視信号を提供する。
• キャプションにおけるモジュラー・アーキテクチャの活用により、概念の分離が可能となり、データ効率が向上し、同等の性能を得るためのデータ量を削減できる。
• 画像キャプションのトレーニング目的や評価指標（例：CIDEr、強化学習戦略）は、直接的にプロンプトベースおよび自己教師ありビジョン・ランゲージモデルの改善に応用可能である。