[論文レビュー] A Comprehensive Empirical Study of Vision-Language Pre-trained Model for Supervised Cross-Modal Retrieval

Zhixiong Zeng, Wenji Mao|arXiv (Cornell University)|Jan 8, 2022

Multimodal Machine Learning Applications被引用数 9

ひとこと要約

本稿では、CLIPの視覚言語事前学習モデルを微調整して教師ありクロスマodalリtrieval（CMR）に適用する新規フレームワーク、CLIP4CMRを提案する。CLIPの強力なマルチモーダル表現を活用することで、CLIP4CMRは複数のベンチマークで最先端の性能を達成し、モダリティの不均衡に対する優れたロバスト性とハイパーパramータ選択への低感受性を示す。これは、CLIPが教師ありリtrievalタスクにおける強力な一般化能力を有することを裏付けている。

ABSTRACT

Cross-Modal Retrieval (CMR) is an important research topic across multimodal computing and information retrieval, which takes one type of data as the query to retrieve relevant data of another type. It has been widely used in many real-world applications. Recently, the vision-language pre-trained models represented by CLIP demonstrate its superiority in learning the visual and textual representations and gain impressive performance on various vision and language related tasks. Although CLIP as well as the previous pre-trained models have shown great performance improvement in the unsupervised CMR, the performance and impact of these pre-trained models on the supervised CMR were rarely explored due to the lack of common representation for the multimodal class-level associations. In this paper, we take CLIP as the current representative vision-language pre-trained model to conduct a comprehensive empirical study. We evaluate its performance and impact on the supervised CMR, and attempt to answer several key research questions. To this end, we first propose a novel model CLIP4CMR (CLIP enhanced network for Cross-Modal Retrieval) that employs the pre-trained CLIP as backbone network to perform the supervised CMR. Then by means of the CLIP4CMR framework, we revisit the design of different learning objectives in current CMR methods to provide new insights on model design. Moreover, we investigate the most concerned aspects in applying CMR, including the robustness to modality imbalance and sensitivity to hyper-parameters, to provide new perspectives for practical applications. Through extensive experiments, we show that CLIP4CMR achieves the SOTA results with prominent improvements on the benchmark datasets, and can be used as a fundamental framework to empirically study the key research issues of the supervised CMR, with significant implications for model design and practical considerations.

研究の動機と目的

• 視覚言語事前学習モデル、特にCLIPが教師ありクロスマodalリtrieval（CMR）に与える性能と影響を調査すること。
• アーキテクチャやトレーニングプロトコルの多様性に起因する、CMRにおける学習目的の公平な比較を妨げる統一フレームワークの欠如を是正すること。
• 実用的なCMR応用において、事前学習モデルのモダリティ不均衡へのロバスト性とハイパーパramータ感受性を評価すること。
• 今後の教師ありCMR分野における研究の基盤として、CLIP4CMRを強力で実証的根拠に基づいたベースラインとして確立すること。

提案手法

• CLIP4CMRは、画像とテキストからの高レベル特徴を抽出するために、CLIPモデルを固定された視覚的・言語的エンコーダーとして用いる。
• モダリティ固有の多層パーセプトロン（MLP）を用いて、CLIPの特徴をクロスマodalリtrievalに適した共有表現空間に射影する。
• 対照学習損失とプロトタイプ対照学習損失を統合することで、意味的整合性とクラスレベルの識別性を向上させる。
• 異なる損失関数やモデル変種間の公平な比較を確保するため、統一されたトレーニングプロトコルを採用する。
• 共通表現空間の次元 $d$ とプロトタイプ対照学習損失におけるスケーリング係数 $\lambda$ のハイパーパramータ分析を実施する。
• mAPを主な指標として用い、Wikipedia、NUS-WIDE、Pascal-Sentence、XmediaNetの4つのベンチマークデータセットでモデルを評価する。

実験結果

リサーチクエスチョン

• RQ1 CLIPは教師ありクロスマodalリtrievalにおいて顕著な性能向上をもたらすか？その背後にある理由は何か？
• RQ2 統一されたフレームワーク下で評価された場合、異なる学習目的の性能はどのように異なるのか？モデル設計にどのような示唆をもたらすか？
• RQ3 CLIP4CMRはモダリティ不均衡に対してどれほどロバストか？大規模でバランスの取れたデータで事前学習することで、この問題が緩和されるか？
• RQ4 共通表現空間の次元やプロトタイプ対照学習損失におけるスケーリング係数といった主要ハイパーパramータに、CLIP4CMRはどれほど感受性を示すか？

主な発見

• CLIP4CMRは、すべての4つのベンチマークデータセットで最先端の性能を達成し、$d=1024$ 時にWikipediaで0.585、Pascal-Sentenceで0.695、NUS-WIDEで0.615、XmediaNetで0.752のmAPスコアを記録した。
• 極端なモダリティ不均衡（例：100%画像 + 10%テキスト）下でも強力な性能を維持し、ベースラインやデータ拡張手法を上回るロバスト性を示した。
• 共通表現次元 $d$ を64に低下させても性能がわずかに低下するにとどまり、次元変更に対する感受性が低いことが示された。
• プロトタイプ対照学習損失の最適なスケーリング係数 $\lambda$ は1と判明した。$\lambda=10$ の場合、数値的不安定性により性能が著しく低下した。
• CLIP4CMRは $d=1024$ 時に最高の平均mAPを達成し、$d=64$ であってもわずかな劣化にとどまるため、コンパクトな表現でも強力な一般化能力を示した。
• 一方のモダリティを完全に削除した場合（例：100%I+0%T）、性能が著しく低下することが判明し、二モダリティ学習の重要性が強調された。