[論文レビュー] When are Lemons Purple? The Concept Association Bias of Vision-Language Models

Yutaro Yamada, Yingtian Tang+2 more|arXiv (Cornell University)|Dec 22, 2022

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

この論文は、CLIP（視覚言語モデル）における概念的関連バイアス（CAB）を特定し、調査している。CLIPは、複数の概念的に関連する物体（例：レモンとエッグプラント）が画像に存在する際、誤って属性（例：'紫色'を'レモン'に割り当てる）を関連付ける。このバイアスは、強いクロスモodalな関連性に基づいて欠落した概念を補完するため生じ、VQAのような細分化されたタスクにおけるゼロショット性能を低下させる。主な貢献は、CABがVQA性能を予測できることを示し、モダリティ間の相互作用を強化する微調整済みのTransformerヘッドを追加することでバイアスを軽減できることを示したことである。

ABSTRACT

Large-scale vision-language models such as CLIP have shown impressive performance on zero-shot image classification and image-to-text retrieval. However, such performance does not realize in tasks that require a finer-grained correspondence between vision and language, such as Visual Question Answering (VQA). As a potential cause of the difficulty of applying these models to VQA and similar tasks, we report an interesting phenomenon of vision-language models, which we call the Concept Association Bias (CAB). We find that models with CAB tend to treat input as a bag of concepts and attempt to fill in the other missing concept crossmodally, leading to an unexpected zero-shot prediction. We demonstrate CAB by showing that CLIP's zero-shot classification performance greatly suffers when there is a strong concept association between an object (e.g. eggplant) and an attribute (e.g. color purple). We also show that the strength of CAB predicts the performance on VQA. We observe that CAB is prevalent in vision-language models trained with contrastive losses, even when autoregressive losses are jointly employed. However, a model that solely relies on autoregressive loss seems to exhibit minimal or no signs of CAB.

研究の動機と目的

• CLIPがリtrievalや分類タスクにおいて強いゼロショット性能を示す一方で、細分化された視覚言語タスク（例：VQA）で性能を発揮できない理由を調査すること。
• CLIPに存在する新しいバイアス、すなわち概念的関連バイアス（CAB）を特定・特徴づけること。CABとは、ある物体の属性を、別の関連する物体の属性に基づいて補完する傾向である。
• CABがVQAやCLIPScoreのような下流タスクに与える影響を評価し、評価指標に予期せぬ脆さが生じることを明らかにすること。
• CABを強化されたモダリティ間相互作用により軽減することで、VQAにおける性能向上を示すこと。
• CLIPの複数のバリアントを対象に、CABの深刻さとVQA精度との間の定量的関連を確立すること。

提案手法

• 著者らは、物体と属性の共起条件を制御した状況下でCLIPの属性予測行動を調べるため、ゼロショット画像分類およびVQA風のプロンプトタスクを設計した。
• CABスコアを導入し、バイアスの度合いを定量化した。これは、ターゲットオブジェクトについてプロンプトされた際、別のオブジェクトに関連する属性をCLIPがどれだけ頻繁に予測するかを測定するものである。
• CLIPに追加のTransformer層を追加し、微調整することで、より深いクロスモダリティ相互作用を可能にし、CABを低減した。
• VQA-v2での性能を評価し、複数のモデルバリアントにおけるCABスコアとVQA精度の相関関係を分析した。
• 空間プーリング（例：画像の左半分）を用いたアブレーションスタディにより、CLIPが局所的でオブジェクト中心の表現を学習しているかどうかを評価した。
• ゼロショット分類の比較のため、NCD（Nearest Class Mean）およびUNCD（Unnormalized NCD）を用いた。

実験結果

リサーチクエスチョン

• RQ1 CLIPがリtrievalや分類タスクで強いゼロショット性能を示す一方で、なぜ細分化された視覚言語タスク（例：VQA）で一般化できないのか？
• RQ2 CLIPは、別のオブジェクトについてプロンプトされた際、そのオブジェクトの属性を、関連する別のオブジェクトの属性に関連付けるバイアスを示すのか？
• RQ3 オブジェクトと属性の関連性の強さ（例：レモン-黄色 対 エッグプラント-紫色）が、CLIPの予測行動に与える影響は何か？
• RQ4 微調整済みのTransformerヘッドを追加することで、概念的関連バイアス（CAB）を軽減でき、VQA性能を向上させられるか？
• RQ5 CABの深刻さと下流タスクのVQA性能との間に定量的関係があるか？

主な発見

• 画像にレモンとエッグプラントの両方が存在する場合、CLIPは「レモンの色として『紫色』を高い信頼度で予測する」。これは強い概念的関連バイアスを示している。
• 微調整済みCLIPバリアントのCABスコアは0.330と、フリーズ済みCLIPの0.424よりも顕著に低い。これは微調整によりバイアスが低減されたことを示している。
• 微調整済みCLIPモデルのVQA-v2精度は0.542であり、フリーズ済みCLIPの0.390よりも顕著に高い。これはバイアス軽減後の性能向上を示している。
• CABスコアとVQA-v2精度の間に強い負の相関関係が存在する。CABスコアが低いモデルほどVQAで優れた性能を示す。図16に示す。
• 画像特徴の空間プーリング（例：画像の左半分）は、グローバルプーリング（0.417）よりも低い精度（0.209）を示す。これはCLIPが局所的でオブジェクト中心の表現を学習していないことを示している。
• CLIPScore指標はCABのため脆く、強い概念的関連性にだまされやすいため、評価における信頼性に懸念が生じる。