[論文レビュー] Does CLIP Bind Concepts? Probing Compositionality in Large Image Models

Martha Lewis, Nayak, Nihal V.+5 more|arXiv (Cornell University)|Dec 20, 2022

Topic Modeling被引用数 6

ひとこと要約

本稿は、視覚言語モデルであるCLIPが、構造的・構成的（compositional）な方法で視覚的概念を合成・結合できるかを調査する。属性を対象物に結合する必要があるタスク（例：'赤い立方体' 対 '球の後ろの立方体'）において、CLIPと構成的分布的意味論モデル（CDSMs）を比較した結果、CLIPは単一対象の構成では良好に機能するが、関係的タスクでは著しく失敗し、すべてのモデルがほぼ運任せの性能にとどまることが判明した。これは、現実世界に根ざした構成的推論における根本的な制限を示している。

ABSTRACT

Large-scale neural network models combining text and images have made incredible progress in recent years. However, it remains an open question to what extent such models encode compositional representations of the concepts over which they operate, such as correctly identifying "red cube" by reasoning over the constituents "red" and "cube". In this work, we focus on the ability of a large pretrained vision and language model (CLIP) to encode compositional concepts and to bind variables in a structure-sensitive way (e.g., differentiating "cube behind sphere" from "sphere behind cube"). To inspect the performance of CLIP, we compare several architectures from research on compositional distributional semantics models (CDSMs), a line of research that attempts to implement traditional compositional linguistic structures within embedding spaces. We benchmark them on three synthetic datasets - single-object, two-object, and relational - designed to test concept binding. We find that CLIP can compose concepts in a single-object setting, but in situations where concept binding is needed, performance drops dramatically. At the same time, CDSMs also perform poorly, with best performance at chance level.

研究の動機と目的

• CLIPが視覚的概念の根拠のある（ grounded ）、構成的な表現を学習しているかどうかを評価すること。特に、属性を対象物に結合する能力について。
• 明示的に構成的であるように設計されたモデル（CDSMs）が、構造的な視覚的推論タスクにおいてCLIPを上回るかを調査すること。
• 現在の視覚・言語モデル（例：CLIP）が、抽象的な変数結合を要する未観測の構成的表現に一般化できるかを特定すること。
• キャリブレーションの役割が、構成的視覚的推論のゼロショット一般化を向上させるかを評価すること。
• CLIPが視覚的世界の意味を構成的言語にどう表現しているかの根幹的な制限を特定すること。

提案手法

• 複数のCDSMアーキテクチャ（例：テンソル積、加法的、乗法的）を、画像とフレーズの埋め込みを用いた、根拠のある視覚言語設定に適応した。
• CLIPの固定済みおよび微調整済みテキストエンコーダーを用いてフレーズ埋め込みを生成し、それらをCDSMが生成する埋め込みと、共同の意味空間で比較した。
• 3つのベンチマークデータセットを構築した：単一対象の形容詞＋名詞（例：'赤い立方体'）、二対象の接続（例：'赤い立方体と青い球'）、関係的（例：'立方体が球の後ろ'）。
• 対照的学習の目的関数を用いて、CLIPからの画像埋め込みと正しいフレーズ埋め込みを一致させることでモデルを訓練した。
• ゼロショット予測における過信を軽減するために、キャリブレーションスタッキングを適用した。特に未観測の構成に対して有効である。
• 未観測の組み合わせを含む一般化スプリットで性能を評価し、コサイン類似度と正解率の指標を用いた。

実験結果

リサーチクエスチョン

• RQ1 CLIPは文法的構造（例：'立方体が球の後ろ' と '球が立方体の後ろ'）を尊重する形で、視覚的概念を合成・結合できるか？
• RQ2 構成的であるように明示的に設計されたCDSMsは、関係的視覚的推論タスクにおいてCLIPを上回るか？
• RQ3 CLIPのテキストエンコーダーを微調整することで、固定済みエンコーダーと比較して構成的一般化性能がどの程度向上するか？
• RQ4 キャリブレーションスタッキングは、構成的視覚的推論ベンチマークにおけるゼロショット一般化性能を向上させるか？
• RQ5 CLIPの視覚的意味表現に、効果的な変数結合を実現できない根本的な表現的制限があるか？

主な発見

• CLIPは単一対象の一般化スプリットで92.39％の正答率を達成しており、単純な形容詞＋名詞の構成において優れた性能を示している。
• キャリブレーションスタッキングを施したCSPは、単一対象スプリットで96.31％まで向上し、固定済みCLIPおよびキャリブレーションなしのCDSMsを上回った。
• 二対象接続タスクでは、微調整済みCLIPおよびCDSMsを含むすべてのモデルが、運任せの性能（またはそれ以下）にとどまり、接続の一般化に失敗していることが示された。
• 関係的構成タスク（'立方体が球の後ろ' 対 '球が立方体の後ろ'）では、すべてのモデルが運任せの性能（約50％）にとどまり、空間的関係を区別できないことが判明した。
• キャリブレーションは単一対象スプリットでは性能向上に寄与したが、二対象および関係的タスクでは、検証セットのデータ分布の問題により効果が得られなかった。
• 微調整およびキャリブレーションを施しても、関係的構成のタスクで意味のある性能を達成できないことは、CLIPの根拠のある構成的表現能力に根本的な制限があることを示唆している。