[論文レビュー] Zero-shot Image Captioning by Anchor-augmented Vision-Language Space Alignment

Junyang Wang, Yi Zhang+3 more|arXiv (Cornell University)|Nov 14, 2022

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本稿では、CLIPベースのモデルにおける文脈的言語バイアス問題に取り組むことで、ゼロショット画像キャプション生成を向上させるため、Anchor-augmented Vision-Language Space Alignmentを提案する。本手法は、教師なしのクロスモーダル学習を可能にするCross-modal Language Models（CLMs）と、言語的およびオブジェクトレベルのアンカーを用いて微細な視覚的注意を誘導するAnchor Augmentを導入し、アノテートデータを一切使用せずにMS COCOおよびFlickr 30Kで最先端のキャプション品質と高い生成効率を達成した。

ABSTRACT

CLIP (Contrastive Language-Image Pre-Training) has shown remarkable zero-shot transfer capabilities in cross-modal correlation tasks such as visual classification and image retrieval. However, its performance in cross-modal generation tasks like zero-shot image captioning remains unsatisfied. In this work, we discuss that directly employing CLIP for zero-shot image captioning relies more on the textual modality in context and largely ignores the visual information, which we call \emph{contextual language prior}. To address this, we propose Cross-modal Language Models (CLMs) to facilitate unsupervised cross-modal learning. We further propose Anchor Augment to guide the generative model's attention to the fine-grained information in the representation of CLIP. Experiments on MS COCO and Flickr 30K validate the promising performance of proposed approach in both captioning quality and computational efficiency.

研究の動機と目的

• CLIPベースのゼロショット画像キャプションにおいて、言語モデルが視覚的入力に依存せず文脈的なテキスト情報に依存することで、関連のないコンテンツを生成する文脈的言語バイアス問題を解消すること。
• 人為的アノテート済みペairedデータを必要とせず、CLIPの視覚言語表現空間を活用することで、教師なしのクロスモーダル学習を可能にすること。
• 言語的およびオブジェクトレベルのキーポイントを用いたアンカーによる監視によって、生成モデルの微細な視覚的詳細への注目を向上させること。
• 従来のゼロショットアプローチと比較して、優れた計算効率を維持しながら、高品質かつ正確な画像キャプション生成を達成すること。

提案手法

• Cross-modal Language Models（CLMs）は、CLIPでエンコードされたテキスト表現をプレフィックストークンとして用い、元の文を自己回帰的ラベルとして用いることで、自己教師ありの自己回帰的学習手法で訓練される。
• 訓練文から文法解析器を用いて抽出された名詞としてのアンカーが、CLM訓練中に生成モデルの関連視覚的概念への注目を誘導する。
• 訓練中に特定の確率でサンプル内のすべてのアンカーをランダムにドロップする「アンカーのランダムドロップアウト」を導入し、モデルのロバスト性を向上させる。
• 推論時には、オブジェクト検出器の予測結果（例：'baby'、'elephant'）をアンカーとして用い、キャプション生成を画像の実際の内容に固定化する。
• 生成モデルはCLIPの画像特徴量とオブジェクトレベルのアンカーに条件付けられており、クエリベースの注目機構を用いずに視覚に根ざした高品質なキャプション生成が可能になる。
• 訓練プロセスは完全に教師なしであり、アノテート済みの画像・テキストペアを一切必要とせず、CLIPの事前学習済み表現と非ペairedテキストデータのみに依存する。

実験結果

リサーチクエスチョン

• RQ1 CLIPベースの言語モデルを用いたゼロショット画像キャプション生成において、文脈的言語バイアスの影響をどのように低減できるか？
• RQ2 CLIPの事前学習済み視覚言語表現と非ペairedテキストデータのみを用いて、効果的な教師なしクロスモーダル学習を可能にできるか？
• RQ3 教師付き視覚アノテーションに依存せずに、生成モデルの微細な視覚的詳細への注目をどのように向上できるか？
• RQ4 アンカーに基づく監視は、ゼロショット環境下で生成キャプションの正確性と関連性をどの程度向上させるか？
• RQ5 高品質なキャプション生成を維持しつつ、従来のゼロショット手法よりも高速な生成速度を達成できるか？

主な発見

• 提案手法は、MS COCOおよびFlickr 30Kの両ベンチマークで、キャプション品質の面で最先端の性能を達成し、既存のゼロショットベースラインを上回った。
• 言語バイアスによる誤った生成（例：画像に草がないにもかかわらず'elephant'の後に'grassy'を生成）を顕著に低減した。
• 推論時にオブジェクト検出器から得たアンカーを用いることで、他のモデルが失敗する画像においても'baby'などのオブジェクトを正しく識別する精度が向上した。
• 訓練プロセスの分析から、CLMsは当初はクロスモーダル転送性能を向上させるが、長時間訓練を続けると逆に抑制的になることが判明し、早期停止の必要性が示された。
• クエリベースのアーキテクチャを採用していないため、生成効率が高く、従来手法よりも高速でありながら、高品質を維持した。
• 対向的表現を用いることで、CLIPに内在する誤ったステレオタイプ（例：性別に応じた衣服パターンの変化）を明らかにし、概念間の依存関係を評価した。