[논문 리뷰] A Comprehensive Empirical Study of Vision-Language Pre-trained Model for Supervised Cross-Modal Retrieval

Zhixiong Zeng, Wenji Mao|arXiv (Cornell University)|2022. 01. 08.

Multimodal Machine Learning Applications인용 수 9

한 줄 요약

이 논문은 감독형 다중모달 검색을 위한 CLIP 시각-언어 사전학습 모델을 미세조정하는 새로운 프레임워크인 CLIP4CMR를 제안한다. CLIP의 강력한 다중모달 표현을 활용하여 CLIP4CMR는 여러 벤치마크에서 최고 성능을 기록하며, 모ality 불균형에 대한 강건성과 하이퍼파rameter 선택에 대한 낮은 민감도를 보이며, 감독형 검색 작업에서 CLIP의 강력한 일반화 능력을 입증한다.

ABSTRACT

Cross-Modal Retrieval (CMR) is an important research topic across multimodal computing and information retrieval, which takes one type of data as the query to retrieve relevant data of another type. It has been widely used in many real-world applications. Recently, the vision-language pre-trained models represented by CLIP demonstrate its superiority in learning the visual and textual representations and gain impressive performance on various vision and language related tasks. Although CLIP as well as the previous pre-trained models have shown great performance improvement in the unsupervised CMR, the performance and impact of these pre-trained models on the supervised CMR were rarely explored due to the lack of common representation for the multimodal class-level associations. In this paper, we take CLIP as the current representative vision-language pre-trained model to conduct a comprehensive empirical study. We evaluate its performance and impact on the supervised CMR, and attempt to answer several key research questions. To this end, we first propose a novel model CLIP4CMR (CLIP enhanced network for Cross-Modal Retrieval) that employs the pre-trained CLIP as backbone network to perform the supervised CMR. Then by means of the CLIP4CMR framework, we revisit the design of different learning objectives in current CMR methods to provide new insights on model design. Moreover, we investigate the most concerned aspects in applying CMR, including the robustness to modality imbalance and sensitivity to hyper-parameters, to provide new perspectives for practical applications. Through extensive experiments, we show that CLIP4CMR achieves the SOTA results with prominent improvements on the benchmark datasets, and can be used as a fundamental framework to empirically study the key research issues of the supervised CMR, with significant implications for model design and practical considerations.

연구 동기 및 목표

• 시각-언어 사전학습 모델, 특히 CLIP가 감독형 다중모달 검색(CMR)에 미치는 성능 및 영향을 조사하는 것.
• 아키텍처 및 학습 프로토콜의 다양성으로 인해 학습 목표 간 공정한 비교를 위한 통합 프레임워크가 부족한 문제를 해결하는 것.
• 실제 CMR 응용에서 모ality 불균형과 하이퍼파rameter 민감도에 대한 사전학습 모델의 강건성 평가.
• 미래의 감독형 CMR 연구를 위한 강력하고 경험적으로 기반을 둔 기준으로 CLIP4CMR를 확립하는 것.

제안 방법

• CLIP4CMR는 이미지와 텍스트에서 고수준 특징을 추출하기 위해 CLIP 모델을 고정된 시각 및 텍스트 인코더로 사용한다.
• 다른 모ality 전용 다층퍼셉트론(MLP)을 활용하여 CLIP의 특징을 다중모달 검색을 위한 공통 표현 공간으로 투영한다.
• 의미적 정렬과 클래스 수준의 구분 능력을 향상시키기 위해 대비 손실과 프로토타입 대비 손실을 포함한 다양한 학습 목표를 통합한다.
• 다양한 손실 함수와 모델 변종 간의 공정한 비교를 보장하기 위해 통합된 학습 프로토콜을 채택한다.
• 공통 표현 공간의 차원 $d$와 프로토타입 대비 손실의 스케일링 인자 $\lambda$에 대한 하이퍼파rameter 분석을 수행한다.
• mAP를 주요 평가 지표로 사용하여 네 가지 벤치마크 데이터셋인 위키백과, NUS-WIDE, Pascal-Sentence, XmediaNet에서 모델을 평가한다.

실험 결과

연구 질문

• RQ1 CLIP는 감독형 다중모달 검색에서 성능을 크게 향상시킬 수 있으며, 그 이유는 무엇인가?
• RQ2 통합 프레임워크 하에서 다양한 학습 목표의 성능는 어떻게 평가되며, 모델 설계에 어떤 통찰을 제공하는가?
• RQ3 CLIP4CMR는 모ality 불균형에 대해 얼마나 강건한가? 대규모 균형 잡힌 데이터에서의 사전학습이 이 문제를 완화하는가?
• RQ4 공통 표현 공간의 차원과 프로토타입 대비 손실의 스케일링 인자와 같은 주요 하이퍼파ram터에 대해 CLIP4CMR는 얼마나 민감한가?

주요 결과

• CLIP4CMR는 네 가지 벤치마크 데이터셋에서 모두 최고 성능을 기록하였으며, $d=1024$일 때 위키백과에서 mAP 0.585, Pascal-Sentence에서 0.695, NUS-WIDE에서 0.615, XmediaNet에서 0.752를 기록하였다.
• 극단적인 모ality 불균형 상황(예: 100% 이미지 + 10% 텍스트)에서도 강력한 성능 유지를 보이며, 기준 모델 및 데이터 증강 방법보다 뛰어난 강건성을 입증하였다.
• 공통 표현 차원 $d$를 64로 감소시켜도 성능 저하가 미미하게 나타나, 차원 변화에 대해 낮은 민감도를 보였다.
• 프로토타입 대비 손실의 최적 스케일링 인자 $\lambda$는 1로 확인되었으며, $\lambda=10$일 경우 수치적 불안정성으로 인해 성능이 크게 저하되었다.
• CLIP4CMR는 $d=1024$에서 평균 mAP가 가장 높았으며, $d=64$일 경우에도 약간의 성능 저하만 나타내어 압축된 표현에서도 강력한 일반화 능력을 보였다.
• 모델의 한 모ality가 완전히 제거될 경우(예: 100%I+0%T) 성능 저하가 심각하게 나타나, 이중 모ality 학습의 중요성을 강조하였다.