[論文レビュー] VoLTA: Vision-Language Transformer with Weakly-Supervised Local-Feature Alignment

Shraman Pramanick, Jing Li+5 more|arXiv (Cornell University)|Oct 9, 2022

Multimodal Machine Learning Applications被引用数 11

ひとこと要約

VoLTAは、画像-キャプションペアのみを用いて、高分解能の領域レベルの理解を達成する視覚言語トランスフォーマーを提案する。境界ボックスのラベル付けに依存せず、弱教師付きの局所的特徴の整合性を図るために、ウォッサーシュタイン距離とグロモフ・ウォッサーシュタイン距離を組み合わせたグラフ最適輸送（GOT）を活用する。ユニモodalなバックボーン内に深く埋め込まれたマルチモodal融合を実装し、下流タスクにおいて、はるかに多くのボックスラベル付きデータを必要とする手法を上回る性能を発揮する。

ABSTRACT

Vision-language pre-training (VLP) has recently proven highly effective for various uni- and multi-modal downstream applications. However, most existing end-to-end VLP methods use high-resolution image-text box data to perform well on fine-grained region-level tasks, such as object detection, segmentation, and referring expression comprehension. Unfortunately, such high-resolution images with accurate bounding box annotations are expensive to collect and use for supervision at scale. In this work, we propose VoLTA (Vision-Language Transformer with weakly-supervised local-feature Alignment), a new VLP paradigm that only utilizes image-caption data but achieves fine-grained region-level image understanding, eliminating the use of expensive box annotations. VoLTA adopts graph optimal transport-based weakly-supervised alignment on local image patches and text tokens to germinate an explicit, self-normalized, and interpretable low-level matching criterion. In addition, VoLTA pushes multi-modal fusion deep into the uni-modal backbones during pre-training and removes fusion-specific transformer layers, further reducing memory requirements. Extensive experiments on a wide range of vision- and vision-language downstream tasks demonstrate the effectiveness of VoLTA on fine-grained applications without compromising the coarse-grained downstream performance, often outperforming methods using significantly more caption and box annotations.

研究の動機と目的

• 高価な境界ボックスのラベル付けに依存せずに、細分化された領域レベルの視覚言語理解を達成する課題に対処すること。
• 画像レベルと領域レベルの視覚言語タスクを、画像-キャプションペアのみを用いた統一された事前学習フレームワークに統合すること。
• 大規模なウェブ収集画像-キャプションデータに効果的にスケーリングできる、メモリ・計算・時間の効率が良いVLPパラダイムを開発すること。
• 従来の手法が、グローバル特徴の対照的損失を用いる画像レベル理解に特化しているか、領域レベルの監視（境界ボックス）を必要としているという制限を克服すること。

提案手法

• 局所的画像パッチとテキストトークンの弱教師付き整合性を図るために、ウォッサーシュタイン距離（WD）とグロモフ・ウォッサーシュタイン距離（GWD）を組み合わせたグラフ最適輸送（GOT）目的関数を導入する。
• ハードネガティブネギングを必要としない、Barlow Twinsにインspiredされたリダンドンス低減目的関数に標準的な対照的学習を置き換えることで、データおよび計算負荷を低減する。
• マルチモーダル融合をユニモーダルな視覚および言語トランスフォーマーバックボーン（例：Swin Transformer）に深く埋め込むことで、専用の統合トランスフォーマーレイヤーの必要性を排除する。
• GOTから導出された自己正規化可能で解釈可能な一致基準を用い、視覚的パッチとテキストスパンの明示的で注意に基づく整合性を生成する。
• 画像-テキストペアのみを用いて大規模な画像-キャプションデータセット（例：COCO）で事前学習し、粗粒度および細粒度の下流タスクへのゼロショット転送を可能にする。
• FIBERにインspiredされた二段階訓練戦略を採用するが、ラベル付け依存度を低減し、ボックス予測ではなく局所的特徴の整合性に焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 境界ボックスのラベルなしで、細分化された領域レベルの視覚言語理解を達成できるか？
• RQ2 WDとGWDを組み合わせたグラフ最適輸送は、標準的なウォッサーシュタイン距離に比べ、弱教師付きVLPにおける局所的特徴の整合性を向上させられるか？
• RQ3 ユニモーダルバックボーン内に深く統合された融合は、専用の統合トランスフォーマーに比べ、効率性および性能で優れているか？
• RQ4 画像-キャプションペアのみで事前学習された統一されたVLPフレームワークは、画像レベルおよび領域レベルの下流タスクで最先端の性能を達成できるか？
• RQ5 VoLTAは、はるかに多くのボックスラベル付きデータを必要とする強力なベースラインと比較して、下流タスクの精度および効率性において優れているか？

主な発見

• VoLTAは、境界ボックスのラベルを一切使用せず、参照表現理解（RefCOCO, RefCOCO+, RefCOCOg）で最先端の性能を達成し、複数の類似物体が存在する難易度の高いサンプルにおいてもCLIPベースのモデルを上回る。
• 言語条件付きプロンプトを用いたCOCOオブジェクト検出において、VoLTAはテキストプロンプトに関連するボックスを正しく予測する。例えば、「person」と「cup」を検出しながら、関係のないオブジェクトを無視する。
• 視覚的質問応答（VQAv2）および視覚的推論（NLVR2）において、VoLTAは複雑な質問（オブジェクト数、色、空間的関係など）に対して優れた一般化性能を示し、正しく回答する。
• VoLTA-B（Swin-Bバックボーン）は、画像分類およびリtrievalタスクにおいても競争力のある結果を達成しており、細粒度の整合性が粗粒度の性能を損なわないことを示している。
• VoLTAは、はるかに少ないボックスラベル付きデータで事前学習されているにもかかわらず、CLIP や FIBER といった強力なベースラインを複数の下流タスクで上回り、優れたデータ効率性を示している。
• 定性的な注意マップから、VoLTAがテキストスパンに基づいて意味的に関連する画像領域に注目する能力を学習していることが明らかになった。例えば、参照表現理解において「左にあるケーキのスライス」に注目している。