[논문 리뷰] Geometric Multimodal Contrastive Representation Learning

Petra Poklukar, Miguel Vasco외 4명|arXiv (Cornell University)|2022. 02. 07.

Domain Adaptation and Few-Shot Learning인용 수 14

한 줄 요약

이 논문은 기하학적 다중모态 대비 학습(Geometric Multimodal Contrastive, GMC)을 제안하며, 모ality별 인코더와 공유된 프로젝션 헤드를 갖춘 이중 수준의 신경망 아키텍처로, 새로운 대비 손실을 통해 모ality별 표현과 완전한 다중모달 표현을 정렬한다. GMC는 표현 학습, 예측, 강화 학습 작업 전반에서 부재 모달 조건 하에서도 최신 기술 수준(SOTA)의 성능을 달성하며, 기준 모델 대비 최대 90퍼센트 적은 파라미터를 사용해 계산 효율성이 뛰어나다.

ABSTRACT

Learning representations of multimodal data that are both informative and robust to missing modalities at test time remains a challenging problem due to the inherent heterogeneity of data obtained from different channels. To address it, we present a novel Geometric Multimodal Contrastive (GMC) representation learning method consisting of two main components: i) a two-level architecture consisting of modality-specific base encoders, allowing to process an arbitrary number of modalities to an intermediate representation of fixed dimensionality, and a shared projection head, mapping the intermediate representations to a latent representation space; ii) a multimodal contrastive loss function that encourages the geometric alignment of the learned representations. We experimentally demonstrate that GMC representations are semantically rich and achieve state-of-the-art performance with missing modality information on three different learning problems including prediction and reinforcement learning tasks.

연구 동기 및 목표

• 테스트 시 부재 모달 조건에 대해 정교하고 강력한 다중모달 표현을 학습하는 데 도전한다.
• 다양한 모달(예: 시각, 언어, 청각)이 서로 다른 데이터 분포를 가지는 다중모달 표현 학습의 이질성 갭을 극복한다.
• 공유된 잠재 공간에서 모ality별 표현과 완전한 다중모달 표현을 기하학적으로 정렬하는 방법을 개발한다.
• 추론 시 모달이 부재할 경우 예측 및 강화 학습과 같은 후행 작업에서의 강건성을 확보한다.
• 기존의 생성 기반 및 융합 기반 모델보다 우수한 성능을 내며, 부분 관찰 상황에서도 일반화 가능하고 효율적이며 통합 가능한 프레임워크를 구축한다.

제안 방법

• GMC 프레임워크는 이중 수준 아키텍처를 사용한다: 모ality별 기본 인코더가 개별 모달을 고정 차원의 중간 표현으로 처리한 후, 이를 공유된 프로젝션 헤드가 공유 잠재 공간으로 매핑한다.
• 모달별 표현 $z_1, z_2$ 와 그에 해당하는 완전한 표현 $z_{1:2}$ 를 잠재 공간에서 명시적으로 정렬하기 위해 새로운 다중모달 대비 손실 함수 $\mathcal{L}_{\text{GMC}}$ 가 도입된다.
• 대비 손실은 양성 쌍(정렬된 모ality별 표현과 완전한 표현)과 음성 쌍(다른 샘플의 표현)을 사용하여 기하학적 정렬과 의미 일致성을 장려한다.
• 이 방법은 임의의 수의 모달에 대해 확장 가능하며, 아키텍처를 대대적으로 수정하지 않고도 기존 모델에 통합할 수 있다.
• NT-XEnt에 영감을 받은 온도 조정 대비 목표 함수를 사용하며, 온도 하이퍼파ram터 $\tau$ 가 대비 분포의 날카움을 제어한다.
• 공유된 프로젝션 헤드는 대비 손실과 함께 엔드 투 엔드로 훈련되어 의미적으로 풍부하고 강력한 표현을 학습할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 대비 학습 프레임워크가 모ality별 표현과 완전한 다중모달 표현을 기하학적으로 정렬하여 부재 모달 조건 하에서의 강건성을 향상시킬 수 있는가?
• RQ2 모달이 부재할 경우 기존의 생성 기반 모델(MVAE, MMVAE 등)과 융합 기반 모델(MFM, Multimodal Transformer 등)에 비해 GMC의 성능과 강건성은 어떻게 비교되는가?
• RQ3 GMC는 제로샷 부재 모달 시나리오에서 예측 및 강화 학습과 같은 후행 작업에서 얼마나 높은 성능을 유지하는가?
• RQ4 GMC의 성능는 온도 $\tau$ 와 표현 차원 $d$ 및 $s$ 와 같은 하이퍼파ram터에 얼마나 민감한가?
• RQ5 GMC는 유사 모델 대비 훨씬 적은 파라미터로 최신 기술 수준의 성능를 달성할 수 있는가? 이는 효율성 향상을 시사한다.

주요 결과

• GMC는 부재 모달 정보가 있는 후행 작업에서 최신 기술 수준의 성능를 달성하며, 모든 평가된 작업에서 MVAE, MUSE 등 기준 모델을 압도한다.
• 펜듈럼 강화 학습 작업에서 GMC는 전체 인지 능력을 갖춘 에이전트와 동등한 제로샷 전이 성능를 보이며, 추론 시 모달이 부재하더라도 성능가 유지된다.
• GMC는 온도 $\tau$ 와 표현 차원 $d$ 및 $s$ 와 같은 다양한 하이퍼파라미터에서도 높은 성능와 기하학적 정렬(다양성 조정 평가(DCA) 점수로 측정)를 유지한다.
• GMC는 가장 작은 기준 모델 대비 최대 90퍼센트 적은 파라미터를 사용하여 뛰어난 계산 효율성을 입증한다.
• 제거 실험 결과 GMC가 하이퍼파라미터 변화에 강건하며, 완전 관측치를 음성 쌍으로 사용하는 것은 성능를 떨어뜨린다는 점을 확인하여 대비 손실 설계의 타당성을 입증한다.
• UMAP 시각화 결과 GMC만이 모ality별 표현과 완전한 표현이 기하학적으로 정렬된 표현을 학습하는 것으로 나타났으며, MVAE, MMVAE, Nexus, MUSE, MFM 등 다른 모델은 이를 달성하지 못했다.