[논문 리뷰] COBRA: Contrastive Bi-Modal Representation Algorithm

Vishaal Udandarao, Abhishek Maiti외 4명|arXiv (Cornell University)|2020. 05. 07.

Multimodal Machine Learning Applications참고 문헌 53인용 수 4

한 줄 요약

COBRA는 시각과 언어 인코더를 동시에 훈련하기 위해 대조적 예측 코드(CPC)와 노이즈 대비 추정(NCE) 원리를 활용하는 대조적 이중모달 표현 학습 프레임워크를 제안한다. 이는 내부 클래스 및 외부 클래스 관계를 모두 유지한다. 대조 학습을 통해 모odal 갭을 최소화함으로써 COBRA는 4개의 다양한 후행 작업에 걸쳐 7개의 교차 모달 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하며, 강력하고 작업에 종속되지 않는 공동 임베딩 공간을 보여준다.

ABSTRACT

There are a wide range of applications that involve multi-modal data, such as cross-modal retrieval, visual question-answering, and image captioning. Such applications are primarily dependent on aligned distributions of the different constituent modalities. Existing approaches generate latent embeddings for each modality in a joint fashion by representing them in a common manifold. However these joint embedding spaces fail to sufficiently reduce the modality gap, which affects the performance in downstream tasks. We hypothesize that these embeddings retain the intra-class relationships but are unable to preserve the inter-class dynamics. In this paper, we present a novel framework COBRA that aims to train two modalities (image and text) in a joint fashion inspired by the Contrastive Predictive Coding (CPC) and Noise Contrastive Estimation (NCE) paradigms which preserve both inter and intra-class relationships. We empirically show that this framework reduces the modality gap significantly and generates a robust and task agnostic joint-embedding space. We outperform existing work on four diverse downstream tasks spanning across seven benchmark cross-modal datasets.

연구 동기 및 목표

• 교차 모달 작업에서 성능을 제한하는 다중모달 표현 학습에서 지속적인 모달 갭을 해결하기 위해.
• 이미지와 텍스트 모달 간의 내부 클래스 및 외부 클래스 관계를 유지함으로써 공동 임베딩 공간을 향상시키기 위해.
• 시각적 질의 응답 및 이미지 캡션과 같은 다양한 후행 응용 분야에 잘 일반화되는 작업에 종속되지 않는 프레임워크를 개발하기 위해.
• 감독 신호에 대한 의존도를 줄이기 위해 자기지도 대조 학습을 활용하여 공동 표현 학습을 수행하기 위해.

제안 방법

• COBRA는 대조적 예측 코드(CPC)에서 영감을 얻은 대조 학습 목적함수를 사용하며, 동일한 이미지-텍스트 샘플의 증강된 시각에서 양의 쌍을 형성한다.
• 훈련 중에 양의 쌍과 음의 샘플을 구별하기 위해 노이즈 대비 추정(NCE)을 사용하여 모델이 분류 가능한 표현을 학습하도록 유도한다.
• 공유된 잠재 공간에서 이미지 및 텍스트 인코더를 공동 최적화함으로써, 사전 훈련 중에 쌍화된 애너테이션을 필요로 하지 않고도 모달 간의 정렬을 보장한다.
• 다른 샘플 쌍 간의 구별 능력을 향상시키기 위해 음의 샘플 마이닝 전략을 활용한 인스턴스 수준의 대조 손실을 적용한다.
• 대조 학습을 위한 양의 시각을 생성하기 위해 데이터 증강(예: 이미지의 랜덤 크롭, 텍스트의 마스킹)을 사용한다.
• 최종 공동 임베딩 공간은 백프로파게이션을 통해 엔드 투 엔드로 최적화되며, 후행 작업에서의 피니튜닝이 필요 없다.

실험 결과

연구 질문

• RQ1 자기지도 대조 학습 프레임워크가 시각과 언어 표현 간의 모달 갭을 효과적으로 줄일 수 있는가?
• RQ2 내부 클래스 및 외부 클래스 관계를 모두 유지하면 후행 교차 모달 작업에서 더 나은 일반화가 이루어지는가?
• RQ3 작업에 종속되지 않는 표현 학습 방법이 다양한 벤치마크에서 기존의 감독 및 약한 감독 기반 베이스라인을 초월할 수 있는가?
• RQ4 CPC와 NCE의 통합이 표준 대조 또는 자동에코딩 방법에 비해 표현 품질을 어떻게 향상시키는가?

주요 결과

• COBRA는 시각적 질의 응답, 이미지 캡션 등 4개의 후행 작업을 포함한 7개의 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.
• 모든 평가된 데이터셋에서 기존 방법보다 뛰어난 성능을 보이며, 평균 정밀도(mAP) 및 정확도 지표에서 뚜렷한 향상을 보였다.
• 제거 실험 결과, CPC와 NCE 구성 요소 모두 필수적임을 확인하였으며, 둘 중 하나를 제거하면 성능 저하가 뚜렷하게 나타났다.
• COBRA는 강력한 제로샷 일반화 성능을 보이며, 후행 작업에서의 피니튜닝 없이도 경쟁 가능한 성능을 달성했다.
• 이면에서 낮은 외부 클래스 혼동과 높은 내부 클래스 응집도를 보이며, 이미지와 텍스트 표현 간의 정렬 향상이 확인되었다.
• 다양한 데이터 분포와 모달 간에서 프레임워크가 강건함을 확인하였으며, 이는 작업에 종속되지 않는 성질과 확장성의 증거이다.