[논문 리뷰] Relating by Contrasting: A Data-efficient Framework for Multimodal Generative Models

Yuge Shi, Brooks Paige외 2명|arXiv (Cornell University)|2020. 07. 02.

Multimodal Machine Learning Applications참고 문헌 31인용 수 10

한 줄 요약

이 논문은 관련된 다중모달 쌍과 관련이 없는 다중모달 쌍을 구분함으로써 데이터 효율성을 향상시키는 다중모달 변분 오토에인셔(변분 오토에인셔, VAE)를 위한 대비 학습 프레임워크를 제안한다. 관련된 쌍에 대해서는 상호정보량을 최대화하고 관련이 없는 쌍에 대해서는 최소화하는 대비 손실을 사용하여 훈련함으로써, 전체 데이터 기반의 베이스라인과 비슷한 성능을 20퍼센트의 훈련 데이터만으로도 달성할 수 있으며, 이와 동시에 쌍이 맞춰지지 않은 데이터에서 관련된 샘플을 정확하게 식별할 수도 있다.

ABSTRACT

Multimodal learning for generative models often refers to the learning of abstract concepts from the commonality of information in multiple modalities, such as vision and language. While it has proven effective for learning generalisable representations, the training of such models often requires a large amount of "related" multimodal data that shares commonality, which can be expensive to come by. To mitigate this, we develop a novel contrastive framework for generative model learning, allowing us to train the model not just by the commonality between modalities, but by the distinction between "related" and "unrelated" multimodal data. We show in experiments that our method enables data-efficient multimodal learning on challenging datasets for various multimodal VAE models. We also show that under our proposed framework, the generative model can accurately identify related samples from unrelated ones, making it possible to make use of the plentiful unlabeled, unpaired multimodal data.

연구 동기 및 목표

• 다중모달 생성 모델이 일반적으로 큰 규모의 쌍화된 관련 데이터에 의존하기 때문에 높은 데이터 요구량 문제를 해결하기 위해.
• 비용이 많이 들고 주석이 달린 다중모달 데이터에 대한 의존도를 줄이기 위해 관련된 쌍과 관련이 없는 쌍의 차이를 활용하기 위해.
• 성능을 저하시키지 않은 채 다중모달 VAE 훈련의 데이터 효율성을 향상시키기 위해.
• 학습된 관련성 신호를 사용하여 쌍이 맞춰지지 않은, 레이블이 없는 다중모달 데이터에서 관련된 샘플을 식별할 수 있도록 하기 위해.
• 관련성 기반의 대비 학습이 다양한 모델과 데이터셋에서 표현 학습과 일반화 능력을 향상시킨다는 것을 입증하기 위해.

제안 방법

• 모달 x와 y 간의 관련성을 모델링하기 위해 베르누이 랜덤 변수 r를 도입하며, r=1은 관련된 쌍을, r=0은 관련이 없는 쌍을 의미한다.
• r=1일 때는 x와 y 간의 포인트와이즈 상호정보량(PMI)을 높이고 r=0일 때는 낮추도록 하는 대비 손실을 설계한다.
• 관련성 지표 r과 잠재 변수 z를 포함한 변분 추론 프레임워크를 사용하여 생성 모델을 훈련함으로써, 관련성과 콘텐츠를 함께 모델링할 수 있도록 한다.
• x와 y 간의 PMI를 점수로 사용하여 쌍이 맞춰지지 않은 다중모달 데이터에서 관련된 쌍을 식별하고, 추가 훈련 없이도 레이블 전파를 가능하게 한다.
• 다양한 VAE 아키텍처(예: MMVAE, cI-MMVAE, cC-MMVAE)에 대비 목표를 적용하고 여러 데이터셋과 메트릭에서 평가한다.
• 분리된 시아미즈 네트워크가 필요 없도록 생성 모델의 PMI 추정치를 사용해 엔드 투 엔드로 관련성 예측을 수행한다.

실험 결과

연구 질문

• RQ1 관련된 다중모달 쌍과 관련이 없는 쌍을 구분하는 대비 학습 목표가 다중모달 VAE의 데이터 효율성을 향상시키는가?
• RQ2 관련된 훈련 데이터의 20퍼센트만으로도 대비 관련성 학습을 통해 훈련된 생성 모델이 전체 데이터 기반 베이스라인 수준의 성능을 달성할 수 있는가?
• RQ3 생성 모델의 PMI 추정치만을 사용하여 쌍이 맞춰지지 않은, 레이블이 없는 다중모달 데이터에서 관련된 쌍을 정확하게 식별할 수 있는가?
• RQ4 대비 프레임워크가 다양한 아키텍처와 데이터셋에서 다중모달 표현의 강건성과 일반화 능력을 향상시키는가?
• RQ5 변분 추론 추정기의 선택(예: IWAE 대비 CUBO)이 관련성 예측 및 생성 성능에 미치는 영향은 어떠한가?

주요 결과

• 제안된 대비 프레임워크는 여러 모델과 데이터셋에서 전체 데이터 기반 베이스라인과 유사한 성능을 20퍼센트의 관련 훈련 데이터만으로도 달성한다.
• 대비 모델의 PMI 추정치를 사용한 레이블 전파가 데이터가 부족한 상황에서 성능 향상에 크게 기여한다 — cI-MMVAE는 10퍼센트의 데이터로도 전체 데이터 기반 베이스라인 수준의 성능을 달성한다.
• cI-MMVAE 모델은 쌍이 맞춰지지 않은 데이터에서 관련성 예측의 F1 점수(0.84)를 기록하여 시아미즈 베이스라인과 cC-MMVAE를 모두 앞서며 최고 성능을 기록한다.
• 대비 손실 덕분에 생성 모델이 관련성을 암묵적으로 학습할 수 있으며, 추가 훈련 없이도 PMI 임계값 기반의 식별이 가능해진다.
• cC-MMVAE 모델은 CUBO 추정기의 높은 편향으로 인해 성능이 열등한데, 이는 이 대비 설정에서 저분산 하한 추정기인 IWAE가 더 효과적임을 보여준다.
• 베이스라인 모델(MMVAE 및 cC-MMVAE)은 레이블 전파를 적용할 경우 성능 저하를 겪는 데, 이는 cI-MMVAE 프레임워크의 독특한 우수성을 강조한다.