[論文レビュー] I Can't Believe There's No Images! Learning Visual Tasks Using only Language Supervision

Sophia Gu, Christopher M. Clark+1 more|arXiv (Cornell University)|Nov 17, 2022

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本論文では、対照的視覚言語モデルの共有された意味的埋め込み空間を活用することで、視覚タスクモデルをテキストの監視のみで訓練する方法であるCLOSEを提案する。視覚および言語エンコーダーを固定し、適応的ノイズを用いてテキストデータのみで訓練することで、画像キャプション、視覚的含意、VQA、視覚的ニュースキャプションの分野で準SOTAの性能を達成した。キャプションおよび含意タスクでは、従来のテキストのみの手法を10点以上上回り、視覚的ニュースキャプションでは30点以上上回った。

ABSTRACT

Many high-level skills that are required for computer vision tasks, such as parsing questions, comparing and contrasting semantics, and writing descriptions, are also required in other domains such as natural language processing. In this paper, we ask whether it is possible to learn those skills from text data and then transfer them to vision tasks without ever training on visual training data. Key to our approach is exploiting the joint embedding space of contrastively trained vision and language encoders. In practice, there can be systematic differences between embedding spaces for different modalities in contrastive models, and we analyze how these differences affect our approach and study strategies to mitigate this concern. We produce models using only text training data on four representative tasks: image captioning, visual entailment, visual question answering and visual news captioning, and evaluate them on standard benchmarks using images. We find these models perform close to models trained on images, while surpassing prior work for captioning and visual entailment in this text-only setting by over 9 points, and outperforming all prior work on visual news by over 30 points. We also showcase a variety of stylistic image captioning models that are trained using no image data and no human-curated language data, but instead using readily-available text data from books, the web, or language models.

研究の動機と目的

• 高レベルの視覚的理解スキルが、視覚的訓練データを一切用いずにテキストデータから学習可能かどうか、および視覚タスクへの転送が可能かどうかを調査すること。
• 対照的モデルにおける画像とテキストの埋め込み空間の間のドメインシフトを解消することにより、クロスモーダル転送性能の向上を図ること。
• 対照的事前学習から得られる共有意味的空間を活用することで、ゼロショットクロスモーダル転送を可能にする手法の開発。
• 書籍、ウェブ、言語モデルからのデータを含むテキストデータのみで、スタイルに特化した画像キャプションモデルを訓練可能かどうかを実証すること。
• 高価な視覚データ収集の代替手段として、容易に入手可能なテキストデータを活用し、スケーラブルで低コストな視覚モデル訓練手法の確立。

提案手法

• 対照的に事前学習された視覚・言語（V&L）モデルを活用し、画像とテキストの両方の共有意味的埋め込み空間を構築する。
• 訓練フェーズでは視覚および言語エンコーダーを固定し、タスク固有の表現を学習するためにテキスト入力のみを用いる。
• 推論時にテキスト埋め込みを画像埋め込みに置き換えるテキストから画像への転送戦略を採用することで、ゼロショットクロスモーダル一般化を実現する。
• 訓練中にテキスト埋め込みに適応的ノイズ（例：ガウスノイズ）を注入することで、モダリティ固有の分布シフトを軽減し、モデルの頑健性を向上させる。
• バックボーンを再訓練せずに、固定されたエンコーダーを維持したまま、アダプタを用いてモデルのヘッドをファインチューニングすることで、タスク固有の適応を実現する。
• 画像・キャプションのペairedアノテーションを一切必要とせず、書籍、ウェブテキスト、LLM生成テキストなど多様なテキストデータソースを用いてモデルを訓練する。

Figure 1 : Overview of CLOSE . During training, input text is encoded into a vector with a text encoder and adapted with an adaptation method. A model learns to use the vector to perform a task such as VQA, captioning, or visual entailment. During testing, an input image is encoded with an image enc

実験結果

リサーチクエスチョン

• RQ1 画像キャプション、視覚的質問応答、含意といった高レベルの視覚的理解スキルが、視覚的監視なしにテキストデータから学習可能で、視覚タスクへの転送が可能かどうか。
• RQ2 対照的モデルにおける画像とテキストの埋め込み空間の系統的差異がクロスモーダル転送性能に与える影響は何か。また、その影響をどのように軽減できるか。
• RQ3 テキストのみのデータで訓練されたモデルが、標準的な視覚・言語ベンチマークにおいて、視覚データで訓練されたモデルと同等の性能を達成できるか。
• RQ4 書籍やレビュー、LLM出力などの多様なテキストソースからのデータのみで、スタイルに特化した画像キャプションモデルを効果的に訓練できるか。
• RQ5 視覚データが存在しない状況下で、適応的ノイズやその他のドメイン不変正則化技術を用いることで、ゼロショットクロスモーダル転送性能が顕著に向上するか。

主な発見

• テキストデータのみで訓練されたCLOSEモデルは、画像キャプション、視覚的含意、VQAの分野で、完全に教師ありで訓練されたモデルと5〜10ポイント以内の性能を達成し、強力なゼロショット転送能力を示した。
• キャプションタスクでは、従来のテキストのみの手法を17 CIDErポイント上回り（95.4 vs. 78.2）、含意タスクでは9ポイント上回り（75.9 vs. 66.6）し、テキストのみの設定で新たなSOTAを樹立した。
• 視覚的ニュースキャプションベンチマークでは、視覚データで訓練された前回の最良手法を30.3 CIDErポイント上回った（80.8 vs. 50.5）ことから、本手法の有効性が顕著に示された。
• 大規模言語モデル（例：GPT-3）が生成したテキストデータでの訓練でも、プロンプト工学のみで強力な性能が得られ、人手による画像アノテーションは不要だった。
• 訓練中にガウスノイズを導入することで、モダリティの分布シフトに対する頑健性が顕著に向上し、同様の正則化を施さないベースライン手法を上回った。
• 多様なテキストソース（例：書籍、レビュー、LLM出力）から得たデータでの訓練により、ペアド画像データが一切不要な状態で、正確でスタイルに一貫性のあるキャプションを生成できるモデルが得られた。

Figure 2 : Using CLOSE to learn stylistic captioning without image data. Text examples of the desired style are gathered from sources such as the web, books, or GPT-3 . Models are trained on text only and then applied to images.