[논문 리뷰] Mitigating Modality Collapse in Multimodal VAEs via Impartial Optimization

Adrián Javaloy, Maryam Meghdadi외 1명|arXiv (Cornell University)|2022. 06. 09.

AI in cancer detection인용 수 6

한 줄 요약

이 논문은 다중모odal 변동형 오토인코더(VAE)에서 발생하는 모달리티 붕괴를 완화하기 위해 공정한 최적화를 제안한다. 여기서 모델은 충돌하는 기울기 때문에 일부 모달리티를 忽시하게 된다. 계산 그래프 내 '공정성 블록'을 식별하고, 기울기 재균형화와 같은 다중태스크 학습 기법을 적용함으로써, 모든 모달리티 간 균형 잡힌 최적화를 보장한다. 이는 다양한 데이터셋과 아키텍처에서 재구성 성능, 조건부 생성, 잠재공간 일관성 측면에서 뚜렷한 향상을 이룬다.

ABSTRACT

A number of variational autoencoders (VAEs) have recently emerged with the aim of modeling multimodal data, e.g., to jointly model images and their corresponding captions. Still, multimodal VAEs tend to focus solely on a subset of the modalities, e.g., by fitting the image while neglecting the caption. We refer to this limitation as modality collapse. In this work, we argue that this effect is a consequence of conflicting gradients during multimodal VAE training. We show how to detect the sub-graphs in the computational graphs where gradients conflict (impartiality blocks), as well as how to leverage existing gradient-conflict solutions from multitask learning to mitigate modality collapse. That is, to ensure impartial optimization across modalities. We apply our training framework to several multimodal VAE models, losses and datasets from the literature, and empirically show that our framework significantly improves the reconstruction performance, conditional generation, and coherence of the latent space across modalities.

연구 동기 및 목표

• 다중모달 VAE에서 학습 중 일부 모달리티를 선호하는 경향으로 인해 발생하는 모달리티 붕괴 문제를 해결하기 위해.
• 모달리티 붕괴의 근본 원인을 계산 그래프의 특정 하위구조인 '공정성 블록'에서 발생하는 기울기 갈등으로 규명하기 위해.
• 기존의 다중태스크 학습 기법을 활용해 모든 모달리티에 걸쳐 일반화 가능한 최적화 프레임워크를 개발하기 위해.
• 제안된 프레임워크의 효과성을 다양한 VAE 아키텍처, 손실 함수, 다중모달 데이터셋을 대상으로 실증적으로 검증하기 위해.
• 모든 모달리티에서 공동, 주변 및 조건부 분포 모델링을 향상시켜 재구성, 생성, 분리성 향상을 도모하기 위해.

제안 방법

• 학습 중 기울기가 서로 갈등하는 계산 그래프의 하위구조인 '공정성 블록'을 식별한다.
• 다중태스크 학습에서 기울기 갈등 완화 기법(예: 기울기 재균형화, 불확실성 가중치)을 적용하여 다양한 모달리티 간 최적화 균형을 확보한다.
• 기존의 다중모달 VAE 모델(MVAE, MMVAE, MoPoE 등)에 아키텍처 변경 없이 공정한 최적화 프레임워크를 통합한다.
• ELBO, IWAE, SIWAE 등 다양한 학습 목표를 사용하여 제안된 방법의 강건성과 일반화 능력을 평가한다.
• 이질적인 모달리티 간 성능 향상을 공정하게 비교하기 위해 로그우도 점수를 모달리티 차원으로 정규화한다.
• 여러 랜덤 시드로 모델을 학습하고 평균 및 표준편차를 보고하여 통계적 신뢰성을 확보한다.

실험 결과

연구 질문

• RQ1 다중모달 VAE에서 모달리티 붕괴는 무엇이 원인이며, 계산 그래프 내 특정 기울기 갈등에서 기인하는가?
• RQ2 기울기 갈등 완화를 위한 기존의 다중태스크 학습 기법은 다중모달 VAE의 학습 공정성 향상에 효과적으로 적용될 수 있는가?
• RQ3 공정한 최적화가 다양한 모달리티에서 재구성, 조건부 생성, 잠재공간 품질 향상에 측정 가능한 기여를 하는가?
• RQ4 제안된 프레임워크는 다양한 VAE 아키텍처, 손실 함수, 데이터셋에서 어떻게 성능을 발휘하는가?
• RQ5 공정한 최적화가 다중모달 환경에서 부정적 전이를 줄이고 공동 분포 모델링을 얼마나 향상시키는가?

주요 결과

• 제안된 공정한 최적화 프레임워크는 모든 모달리티에서 재구성 성능을 뚜렷이 향상시켰으며, ELBO 손실 기준 MVAE는 공동 로그우도에서 -8.61에서 -8.07로 1.22점 향상되었다.
• MMVAE의 경우 ELBO 기준 'S' 모달리티의 로그우도가 -2.18에서 -2.31로 감소하여 이전에 忽시된 모달리티에 대한 적합도 향상을 보였다.
• IWAE 손실 기준 MoPoE에서는 'T' 모달리티의 로그우도가 -1.19에서 -1.27로 감소하여 이전에 과소적합되었던 모달리티의 모델링 향상이 확인되었다.
• 조건부 생성 및 잠재공간 일관성 측면에서도 일관되게 향상되었으며, 모든 모달리티 조합에서 공동 및 조건부 로그우도가 향상되어 이를 뒷받침한다.
• 모든 평가된 데이터셋 및 모델에서 최신 기술 수준의 성능을 달성하였으며, 5개의 랜덤 시드에서 통계적으로 유의미한 향상이 관찰되었다.
• 특히 고차원이거나 최적화가 덜 된 모달리티(예: 이미지-텍스트 VAE에서의 텍스트)에서 향상이 가장 두드러져 모달리티 붕괴 완화 효과가 확인되었다.