[논문 리뷰] CWCL: Cross-Modal Transfer with Continuously Weighted Contrastive Loss

Rakshith Sharma Srinivasa, Jaejin Cho외 5명|arXiv (Cornell University)|2023. 09. 26.

Multimodal Machine Learning Applications인용 수 5

한 줄 요약

이 논문은 교차 모odal 데이터 간의 유사도를 이산적인 이진 측정 방식이 아닌 연속적인 측정 방식으로 모델링하는 새로운 대비 학습 목표인 연속적으로 가중된 대비 손실(CWCL)을 제안한다. 표본 내 모든 유사 예제를 고려함으로써(단지 양성/음성 쌍만이 아닌) CWCL은 제로샷 전이 성능을 향상시켜, 기존 최상의 방법 대비 이미지 분류 과제에서 6–8%의 절대적 향상과 음성-의도 및 키워드 분류 과제에서 20–30%의 절대적 향상을 달성한다.

ABSTRACT

This paper considers contrastive training for cross-modal 0-shot transfer wherein a pre-trained model in one modality is used for representation learning in another domain using pairwise data. The learnt models in the latter domain can then be used for a diverse set of tasks in a zero-shot way, similar to ``Contrastive Language-Image Pre-training (CLIP)'' and ``Locked-image Tuning (LiT)'' that have recently gained considerable attention. Most existing works for cross-modal representation alignment (including CLIP and LiT) use the standard contrastive training objective, which employs sets of positive and negative examples to align similar and repel dissimilar training data samples. However, similarity amongst training examples has a more continuous nature, thus calling for a more `non-binary' treatment. To address this, we propose a novel loss function called Continuously Weighted Contrastive Loss (CWCL) that employs a continuous measure of similarity. With CWCL, we seek to align the embedding space of one modality with another. Owing to the continuous nature of similarity in the proposed loss function, these models outperform existing methods for 0-shot transfer across multiple models, datasets and modalities. Particularly, we consider the modality pairs of image-text and speech-text and our models achieve 5-8% (absolute) improvement over previous state-of-the-art methods in 0-shot image classification and 20-30% (absolute) improvement in 0-shot speech-to-intent classification and keyword classification.

연구 동기 및 목표

• 사전 훈련된 모델에서 교차 모달 정렬 과정 동안 전체 지도 정보를 효율적으로 추출하지 못하는 표준 대비 학습의 비효율성을 해결하기 위해.
• 사전 훈련된 텍스트 모델을 활용하여 음성 및 의료 영상과 같은 자원이 제한된 모달리티에서의 제로샷 전이 성능을 향상시키기 위해.
• 이를 위해 대비 학습에서 유사도를 양성/음성으로 이진으로 간주하는 것이 아니라 연속적인 성격을 반영하는 손실 함수를 개발하기 위해.
• 이를 통해 다양한 모달리티 쌍(예: 이미지-텍스트 및 음성-텍스트)에서 제안된 방법의 효과성을 입증하기 위해.
• 기존의 쌍화된 데이터로부터 최대한의 지도 정보를 활용함으로써 데이터 및 계산 자원 효율적인 훈련을 가능하게 하기 위해.

제안 방법

• 기본 샘플과의 유사도에 따라 음성 샘플에 동적 가중치를 할당하는 연속적으로 가중된 대비 손실(CWCL)을 도입한다.
• 기본 샘플과 배치 내 모든 다른 샘플 간의 연속적인 유사도 점수를 계산하는 유사도 함수를 사용하여, 이항의 양성/음성 구분을 대체한다.
• 온도 스케일링과 학습 가능한 파rameter를 적용하여 가중치 함수를 校정함으로써, 모델이 가장 정보가 풍부한 유사 샘플에 적절히 집중할 수 있도록 한다.
• 사전 훈련된 이미지 또는 음성 인코더를 고정한 채로 텍스트 인코더를 엔드 투 엔드로 훈련하여 원본 모달리티의 지식을 유지한다.
• 제로샷 의도 및 키워드 분류에서 템플릿 기반의 클래스 임베딩 생성을 사용하여 사전 훈련된 텍스트 표현과의 정렬을 향상시킨다.
• 배치 수준의 대비 목표를 고려하여, 배치 내 모든 샘플을 포함하는 확률적 경사 하강법을 사용해 손실을 최적화한다.

실험 결과

연구 질문

• RQ1 연속적인 유사도 측정 방식이 표준 대비 학습을 초월하여 제로샷 교차 모달 전이 성능을 향상시킬 수 있는가?
• RQ2 CWCL은 이미지-텍스트 및 음성-텍스트 정렬 과제에서 표준 대비 손실과 비교해 어떻게 성능을 내는가?
• RQ3 CWCL은 성능을 유지하거나 향상시키면서 데이터 및 계산 요구량을 얼마나 줄일 수 있는가?
• RQ4 CWCL은 레이블이 제한된 데이터를 포함한 다양한 모달리티 쌍에 대해 일반화 가능한가?
• RQ5 CWCL은 자원이 제한된 음성 과제에서 완전히 지도 학습된 모델과 비슷한 성능을 달성할 수 있는가?

주요 결과

• CWCL은 최상의 베이스라인 대비 제로샷 이미지 분류 정확도에서 6–8%의 절대적 향상을 기록했으며, RoBERTa+S 모델은 SLURP에서 63.80%의 정확도를 달성했다.
• STOP 데이터셋에서 CWCL은 제로샷 음성-의도 분류 성능을 20–30% 절대적으로 향상시켜 RoBERTa+S를 사용해 87.87%의 정확도를 기록했다.
• GSCV2에서 키워드 스노핑 과제에서, 템플릿 없이 CWCL은 81.02%의 정확도를 기록했고, 템플릿 기반 클래스 임베딩을 사용하면 82.77%의 정확도를 기록했으며, 이는 베이스라인을 초월했다.
• CWCL를 적용한 BART 기반 모델은 템플릿을 사용해 GSCV2에서 89.43%의 정확도를 기록했으며, 이는 작업 전용 훈련 데이터를 사용하는 지도 기반 베이스라인에 근접한 성능이었다.
• 더 적은 데이터 샘플로 훈련된 CWCL 모델가 표준 대비 학습보다 높은 성능을 기록하여 데이터 효율성을 입증했다.
• 특히 템플릿을 사용한 GSCV2에서 98.2%의 정확도를 기록하며, 작업 전용 미세조정 없이도 거의 지도 학습 수준의 성능을 달성했으며, 이는 제로샷 일반화 능력이 뛰어나다는 것을 시사한다.