[논문 리뷰] IsoCLIP: Decomposing CLIP Projectors for Efficient Intra-modal Alignment

Simone Magistri, Dipam Goswami외 4명|arXiv (Cornell University)|2026. 03. 20.

Multimodal Machine Learning Applications인용 수 0

한 줄 요약

IsoCLIP은 CLIP 프로젝터를 분석하여 이미지와 텍스트를 정렬하는 인터-모달 연산자와 정렬은 하지만 정렬하지 않는 내부 모달 정규화 연산자를 식별한 뒤 중간 스펙트럼 방향만 보존하여 프로젝터를 정렬하고, 추가 지연 없이 내부 모달 검색을 개선한다.

ABSTRACT

Vision-Language Models like CLIP are extensively used for inter-modal tasks which involve both visual and text modalities. However, when the individual modality encoders are applied to inherently intra-modal tasks like image-to-image retrieval, their performance suffers from the intra-modal misalignment. In this paper we study intra-modal misalignment in CLIP with a focus on the role of the projectors that map pre-projection image and text embeddings into the shared embedding space. By analyzing the form of the cosine similarity applied to projected features, and its interaction with the contrastive CLIP loss, we show that there is an inter-modal operator responsible for aligning the two modalities during training, and a second, intra-modal operator that only enforces intra-modal normalization but does nothing to promote intra-modal alignment. Via spectral analysis of the inter-modal operator, we identify an approximately isotropic subspace in which the two modalities are well-aligned, as well as anisotropic directions specific to each modality. We demonstrate that this aligned subspace can be directly obtained from the projector weights and that removing the anisotropic directions improves intra-modal alignment. Our experiments on intra-modal retrieval and classification benchmarks show that our training-free method reduces intra-modal misalignment, greatly lowers latency, and outperforms existing approaches across multiple pre-trained CLIP-like models. The code is publicly available at: https://github.com/simomagi/IsoCLIP.

연구 동기 및 목표

• CLIP이 이미지-이미지 검색과 같은 내부 모달 작업에서 왜 성능이 떨어지는지 이해한다.
• CLIP 투영 헤드가 코사인 유사도와 CLIP 손실과 어떻게 상호작용하는지 특성화한다.
• 인터-모달 연산자의 스펙트럼 분석을 통해 공유된 의미 하위공간을 식별한다.
• 등방성 방향으로 제한함으로써 학습 없이 내부 모달 정렬을 개선하는 방법을 제안한다.
• 여러 CLIP 유사 모델에서 내부 모달 작업에 대해 대기 시간 없이 향상을 시연한다.

제안 방법

• CLIP 코사인 유사도를 텍스트를 이미지 공간으로 매핑하는 인터-모달 연산자 Psi = Wi^T Wt 를 포함하는 것으로 공식화한다.
• CLIP 손실 그래디언트를 분석하여 Psi가 모듈을 정렬하는 반면 Ii = Wi^T Wi는 내부 모달 정규화만 수행함을 보인다.
• 특이값 분해 Psi = U Sigma V^T 를 수행하여 스펙트럴 특성을 연구하고 대략 등방성 중간 밴드를 식별한다.
• IsoCLIP을 중간 스펙트럼에 해당하는 등방성 부분공간 SpU와 SpV에 이미지와 텍스트 프로젝터를 투영하여 ɺi = Wi U_SU U_SU^T 및 ɺt = Wt V_SV V_SV^T 를 생성하는 방식으로 정의한다.
• 등방성으로 제한된 프로젝터로 계산된 내부 모달 유사성이 더 판별력 있는 코사인 유사도와 더 나은 검색 성능을 산출함을 보인다.
• 필요에 따라 1차 선형화로 비선형 프로젝터 헤드에 IsoCLIP을 확장한다.

실험 결과

연구 질문

• RQ1 CLIP 학습 동역학에서 인터-모달 연산자 Psi = Wi^T Wt의 역할은 무엇인가?
• RQ2 Psi의 스펙트럼이 이미지-이미지 및 텍스트-텍스트 작업의 내부 모달 정렬 품질과 어떻게 관련되는가?
• RQ3 Psi의 등방성 중간 밴드로 프로젝터를 제한하는 것이 학습이나 추가 지연 없이 내부 모달 검색을 개선할 수 있는가?
• RQ4 IsoCLIP가 여러 CLIP 유사 모델과 백본에서 일관된 개선效果를 제공하는가?
• RQ5 IsoCLIP가 내부 모달 벤치마크의 지연 시간과 효율성에 어떤 영향을 미치는가?

주요 결과

방법	내부 모달	백본	지연 시간 (ms)	Caltech	CUB	ROxford	RParis	Cars	Pets	Flowers	Aircraft	DTD	EuroSAT	Food101	SUN397	UCF101	평균
이미지-이미지	✓	ViT-B/32	7 ± 1	77.1	22.9	42.6	67.9	24.6	30.5	62.0	14.5	28.1	47.9	32.3	34.3	47.1	40.9
OTI (I → T)	✗	1879 ± 35	79.9	24.6	43.0	70.3	28.0	37.5	62.6	14.4	31.9	47.2	34.7	36.3	48.6	43.0
IsoCLIP	✓	ViT-B/32	7 ± 1	80.8	27.0	47.2	73.8	30.0	40.8	66.5	14.9	30.9	51.5	38.0	36.4	48.4	45.1
이미지-이미지	✓	ViT-B/16	6 ± 1	80.6	31.6	46.6	75.3	31.0	36.3	70.8	19.0	30.7	51.2	42.8	35.9	49.8	46.3
OTI (I → T)	✗	1856 ± 56	83.5	33.9	49.9	77.4	37.2	42.9	72.8	20.1	35.1	50.5	47.5	38.7	52.6	49.4
IsoCLIP	✓	ViT-B/16	6 ± 1	85.0	38.6	51.8	82.0	41.2	50.7	77.4	20.5	36.0	55.6	53.5	38.0	60.4	52.8
이미지-이미지	✓	ViT-L/14	11 ± 1	83.2	43.0	57.5	76.9	43.3	47.3	84.0	25.8	34.1	59.0	53.0	39.1	60.0	54.3
OTI (I → T)	✗	1872 ± 91	87.3	47.1	62.4	77.1	50.5	56.0	86.0	27.1	37.7	56.3	55.9	43.5	62.8	57.7
IsoCLIP	✓	ViT-L/14	6 ± 1	87.0	52.2	66.4	81.4	56.4	63.5	88.2	28.2	39.0	61.6	62.9	41.0	61.9	60.7
이미지-이미지	✓	ViT-B/16-open	6 ± 1	85.7	42.8	65.3	83.2	55.8	50.4	84.6	23.1	39.9	57.8	51.1	39.5	52.9	56.3
OTI (I → T)	✗	1836 ± 83	85.8	45.1	69.5	85.8	60.5	56.5	85.2	23.4	43.1	58.8	54.4	40.8	54.1	58.7
IsoCLIP	✓	ViT-B/16-open	6 ± 1	85.8	51.0	67.3	85.0	60.7	57.8	85.8	23.5	42.5	58.6	54.7	39.3	53.4	58.6

• 인터-모달 연산자 Psi는 CLIP 학습 중 교차 모달 정렬에 책임이 있으며, 내부 모달 연산자 Wi^T Wi는 정규화만 강제한다.
• 스펙트럴 분석은 두 모달리티가 잘 정렬되는 대략 등방성의 중간 대역을 드러내며, 상단/하단의 비등방성 방향은 각 모달리티와 관련된다.
• 중간 대역의 특이 방향만 남겨 IsoCLIP 프로젝터를 형성하면 내부 모달 유사도가 더 좋고 이미지-이미지 및 텍스트-텍스트 작업에서 검색 정확도가 향상된다.
• IsoCLIP은 학습이 필요 없고 순전파를 추가하지 않으므로 지연 시간을 크게 줄이며 여러 백본과 데이터 세트에서 기존 역방향 기반 방법보다 우수한 성능을 보인다.
• 가능성 연구는 화이트닝이나 프리프로젝션 기반 베이스라인이 등방성 중간 대역 접근법에 비해 성능이 낮음을 보여주며 비등방성 방향을 제외하는 이점을 강조한다.
• 표 전반의 실증 결과는 다양한 벤치마크에서 mAP/정확도가 향상되고 베이스라인에 비해 지연 시간이 감소함을 보여준다.