[論文レビュー] IsoCLIP: Decomposing CLIP Projectors for Efficient Intra-modal Alignment

Simone Magistri, Dipam Goswami+4 more|arXiv (Cornell University)|Mar 20, 2026

Multimodal Machine Learning Applications被引用数 0

ひとこと要約

IsoCLIPはCLIPプロジェクターを分析して、画像とテキストを整列させるインターモーダル演算子と、整列はせず正規化のみを行うイントラモーダル演算子を特定する。中間スペクトラムの方向のみを保持してプロジェクターを整列させ、追加レイテンシなしでイントラモーダル検索を改善する。

ABSTRACT

Vision-Language Models like CLIP are extensively used for inter-modal tasks which involve both visual and text modalities. However, when the individual modality encoders are applied to inherently intra-modal tasks like image-to-image retrieval, their performance suffers from the intra-modal misalignment. In this paper we study intra-modal misalignment in CLIP with a focus on the role of the projectors that map pre-projection image and text embeddings into the shared embedding space. By analyzing the form of the cosine similarity applied to projected features, and its interaction with the contrastive CLIP loss, we show that there is an inter-modal operator responsible for aligning the two modalities during training, and a second, intra-modal operator that only enforces intra-modal normalization but does nothing to promote intra-modal alignment. Via spectral analysis of the inter-modal operator, we identify an approximately isotropic subspace in which the two modalities are well-aligned, as well as anisotropic directions specific to each modality. We demonstrate that this aligned subspace can be directly obtained from the projector weights and that removing the anisotropic directions improves intra-modal alignment. Our experiments on intra-modal retrieval and classification benchmarks show that our training-free method reduces intra-modal misalignment, greatly lowers latency, and outperforms existing approaches across multiple pre-trained CLIP-like models. The code is publicly available at: https://github.com/simomagi/IsoCLIP.

研究の動機と目的

• CLIPが画像間検索などイントラモーダルタスクで性能が低下する理由を理解する。
• CLIPの射影ヘッドがコサイン類似度とCLIP損失とどのように相互作用するかを特徴づける。
• 相互モーダル演算子のスペクトル解析を通じて共通の意味サブスペースを特定する。
• 等方性方向に制限することで訓練不要のイントラモーダル整列を改善する方法を提案する。
• 複数のCLIP様モデルやバックボーンにおいて、遅延を生じさせずにイントラモーダルタスクの改善を示す。

提案手法

• CLIPのコサイン類似度を、テキストを画像空間に写像する対称演算子Psi = Wi^T Wtを含むものとして定式化する。
• CLIP損失の勾配を分析して、Psiがモダリティを整列させる一方、Ii = Wi^T Wiはイントラモーダル正規化のみを担うことを示す。
• Psi = U Σ V^Tの特異値分解を行い、スペクトル特性を研究して中間スペクトル帯を近似的に等方的であることを特定する。
• 中間スペクトラムに対応するSpUとSpVの等方的部分空間に画像とテキストのプロジェクターを射影して、 ϑi = Wi U_SU U_SU^T および ϑt = Wt V_SV V_SV^T を定義する。
• 等方的に制限されたプロジェクターで計算したイントラモーダル類似度は、より識別的なコサイン類似度とより良い検索性能を生み出す。
• 必要に応じて1階線形化として非線形プロジェクターヘッドにもIsoCLIPを拡張する。

実験結果

リサーチクエスチョン

• RQ1 CLIPトレーニングダイナミクスにおけるインターモーダル演算子Psi = Wi^T Wtの役割は何か。
• RQ2 Psiのスペクトルは画像間およびテキスト間タスクのイントラモーダル整列品質とどう関係するか。
• RQ3 Psiの等方中間帯に射影子を制限することで、訓練不要・追加遅延なしでイントラモーダル検索を改善できるか。
• RQ4 IsoCLIPは複数のCLIP様モデルとバックボーンで一貫した改善を提供するか。
• RQ5 IsoCLIPはイントラモーダルベンチマークの遅延と効率性にどう影響するか。

主な発見

Method	Intra-modal	Backbone	Latency (ms)	Caltech	CUB	ROxford	RParis	Cars	Pets	Flowers	Aircraft	DTD	EuroSAT	Food101	SUN397	UCF101	Avg
Image-Image	✓	ViT-B/32	7 ± 1	77.1	22.9	42.6	67.9	24.6	30.5	62.0	14.5	28.1	47.9	32.3	34.3	47.1	40.9
OTI (I → T)	✗	1879 ± 35	79.9	24.6	43.0	70.3	28.0	37.5	62.6	14.4	31.9	47.2	34.7	36.3	48.6	43.0
IsoCLIP	✓	ViT-B/32	7 ± 1	80.8	27.0	47.2	73.8	30.0	40.8	66.5	14.9	30.9	51.5	38.0	36.4	48.4	45.1
Image-Image	✓	ViT-B/16	6 ± 1	80.6	31.6	46.6	75.3	31.0	36.3	70.8	19.0	30.7	51.2	42.8	35.9	49.8	46.3
OTI (I → T)	✗	1856 ± 56	83.5	33.9	49.9	77.4	37.2	42.9	72.8	20.1	35.1	50.5	47.5	38.7	52.6	49.4
IsoCLIP	✓	ViT-B/16	6 ± 1	85.0	38.6	51.8	82.0	41.2	50.7	77.4	20.5	36.0	55.6	53.5	38.0	60.4	52.8
Image-Image	✓	ViT-L/14	11 ± 1	83.2	43.0	57.5	76.9	43.3	47.3	84.0	25.8	34.1	59.0	53.0	39.1	60.0	54.3
OTI (I → T)	✗	1872 ± 91	87.3	47.1	62.4	77.1	50.5	56.0	86.0	27.1	37.7	56.3	55.9	43.5	62.8	57.7
IsoCLIP	✓	ViT-L/14	6 ± 1	87.0	52.2	66.4	81.4	56.4	63.5	88.2	28.2	39.0	61.6	62.9	41.0	61.9	60.7
Image-Image	✓	ViT-B/16-open	6 ± 1	85.7	42.8	65.3	83.2	55.8	50.4	84.6	23.1	39.9	57.8	51.1	39.5	52.9	56.3
OTI (I → T)	✗	1836 ± 83	85.8	45.1	69.5	85.8	60.5	56.5	85.2	23.4	43.1	58.8	54.4	40.8	54.1	58.7
IsoCLIP	✓	ViT-B/16-open	6 ± 1	85.8	51.0	67.3	85.0	60.7	57.8	85.8	23.5	42.5	58.6	54.7	39.3	53.4	58.6

• インターモーダル演算子 Psi は CLIP 訓練中のクロスモーダル整列の責任を持ち、イントラモーダル演算子 Wi^T Wi は正規化のみを強制する。
• スペクトル解析により、中間帯において両モダリティが良く整列し、上部/下部の非等方的な方向がそれぞれのモダリティに結びつくことが分かった。
• 中間帯の特異方向のみを保持してIsoCLIPプロジェクターを形成すると、イントラモーダル類似度が改善され、画像間・テキスト間の検索精度が向上する。
• IsoCLIPは訓練不要でフォワードパスを追加しないため大幅なレイテンシ削減を実現し、複数のバックボーンとデータセットで既存の反転ベース手法を上回る。
• アブレーションによって白色化や事前射影ベースが等方中間帯アプローチより劣ることが示され、非等方的方向を除外する利点が強調される。
• 表を超えた実証結果により、多様なベンチマークでmAP/精度が向上し、ベースラインに対する遅延も低減されることが示されている。