[논문 리뷰] What to align in multimodal contrastive learning?

Benoit Dufumier, Javiera Castillo-Navarro외 2명|arXiv (Cornell University)|2024. 09. 11.

EFL/ESL Teaching and LearningArts and Humanities인용 수 3

한 줄 요약

이 논문은 다중모态 특징을 증강하여 상호보완적이고 고유하며 상호작용적인 정보를 단순한 다중모달 상관관계를 넘어서 포착하는 대비 다중모달 자기지도 학습 방법 CoMM을 제안한다. 증강된 다중모달 표현 간 상호정보량을 최대화함으로써 CoMM은 공유된 공간에서 모달 간 소통을 가능하게 하여, 여섯 개인 다중모달 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Humans perceive the world through multisensory integration, blending the information of different modalities to adapt their behavior. Contrastive learning offers an appealing solution for multimodal self-supervised learning. Indeed, by considering each modality as a different view of the same entity, it learns to align features of different modalities in a shared representation space. However, this approach is intrinsically limited as it only learns shared or redundant information between modalities, while multimodal interactions can arise in other ways. In this work, we introduce CoMM, a Contrastive MultiModal learning strategy that enables the communication between modalities in a single multimodal space. Instead of imposing cross- or intra- modality constraints, we propose to align multimodal representations by maximizing the mutual information between augmented versions of these multimodal features. Our theoretical analysis shows that shared, synergistic and unique terms of information naturally emerge from this formulation, allowing us to estimate multimodal interactions beyond redundancy. We test CoMM both in a controlled and in a series of real-world settings: in the former, we demonstrate that CoMM effectively captures redundant, unique and synergistic information between modalities. In the latter, CoMM learns complex multimodal interactions and achieves state-of-the-art results on the six multimodal benchmarks.

연구 동기 및 목표

• 기존의 대비 다중모달 학습 방법이 모달 간 단순히 재현성 정보만 포착한다는 한계를 해결하기 위해.
• 통합된 자기지도 학습 프레임워크 내에서 재현성, 고유성, 상호작용성의 모든 유형의 다중모달 상호작용을 모델링할 수 있도록 하기 위해.
• 단순히 이원모달 특징 간 정렬을 강제하는 것이 아니라, 공유된 표현 공간에서 모달 간 진정한 소통을 가능하게 하는 방법을 개발하기 위해.
• 공유된, 고유한, 상호작용적인 정보 항목이 상호정보량 최대화 과정에서 자연스럽게 유도되는 이론적으로 탄탄한 접근법을 제공하기 위해.
• 작업별 특화된 지도 학습이나 다중모달 대비 제약 조건에 의존하지 않고도 다양한 다중모달 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• CoMM는 다중모달 입력을 하나의 공유 표현으로 융합하기 위해 다중모달 인코더를 사용한다.
• 다중모달 특징에 데이터 증강을 적용하고, 이러한 특징의 증강된 뷰 간 상호정보량을 최대화한다.
• 이 방법은 정보이론에 기반하며, 상호정보량 최대화 과정에서 자연스럽게 재현성(R), 고유성(U), 상호작용성(S) 성분이 유도된다.
• 이전 방법들과 달리 CoMM는 다중모달 또는 내부모달 제약 조건을 부과하지 않으며, 대신 대비 학습을 위해 다중모달 표현을 통합된 실체로 간주한다.
• 기존의 시각 및 언어 기반 모델(예: CLIP, BLIP-2)과 호환되며, 계산 오버헤드가 최소한이다.
• 이 접근법은 글로벌 워크스페이스 이론에 영감을 받아, 다양한 모달 간 통합 및 정보 방출을 가능하게 하는 공유 표현 공간을 모델링한다.

Figure 1: a) We propose CoMM, a contrastive multimodal approach that allows the interplay of multiple modalities and learns multimodal interactions . Unlike previous multimodal models (Cross) that align cross-modal features, CoMM aligns multimodal features in a shared representation space. b) Multim

실험 결과

연구 질문

• RQ1 대비 학습이 단순히 재현성 뿐 아니라 모달 간 고유성과 상호작용성 정보까지 포착할 수 있도록 재정의될 수 있는가?
• RQ2 다중모달 표현 공간에서 다중모달 간 소통을 가능하게 하는 자기지도 학습 프레임워크는 다중모달 정렬을 강제하지 않고 어떻게 작동할 수 있는가?
• RQ3 증강된 다중모달 특징 간 상호정보량 최대화가 다중모달 상호작용의 더 포괄적인 표현을 얼마나 잘 도출할 수 있는가?
• RQ4 다중모달 특징 기반의 대비 목표가 복잡한, 작업에 종속되지 않는 다중모달 상호작용을 포착하는 데 있어 전통적인 다중모달 대비 방법보다 우수한가?
• RQ5 이러한 방법은 다양한 다중모달 벤치마크에서 일반화되어 작업별 특화 미세조정 없이도 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• CoMM는 MM-IMDb, Hateful Memes, Vision&Touch를 포함한 여섯 개의 다중모달 벤치마크에서 최신 기술 수준의 성능을 달성하여 이전의 대비 방법들을 능가한다.
• 통제 실험에서 CoMM는 모달 간 재현성, 고유성, 상호작용성 정보 성분을 성공적으로 포착하고 분리하는 데 성공했다.
• 이 방법은 증강된 다중모달 특징 간 상호정보량 최대화 과정에서 명시적 지도 없이도 자연스럽게 세 가지 정보 항목(R, U, S)이 유도됨을 보여주었다.
• CoMM는 최소한의 계산 오버헤드를 유지하며 높은 성능를 유지한다. 동일한 백본을 사용할 경우 CLIP 대비 뿐만 아니라 30G FLOPs와 5ms의 지연 시간만 추가한다.
• 이론적 분석은 CoMM의 공식화가 글로벌 워크스페이스 이론에서처럼 공유 표현과 정보 방출의 인지 원칙과 일치함을 확인했다.
• 이로 인해 이미지-텍스트 분류, 영상 동작 인식, 로봇 조작 등 다양한 작업에서 뛰어난 일반화 성능를 발휘할 수 있었다. 이는 복잡한 다중모달 상호작용을 모델링할 수 있는 능력 덕분이었다.

Figure 2: CoMM’s model architecture. Inputs from different modalities $X=(X_{1},...,X_{n})$ are first encoded by modality-specific encoders. Modality-specific features are processed by latent converters to map them into sequences of embeddings which are concatenated and fused by a transformer block.