[논문 리뷰] Multimodal Variational Autoencoders for Semi-Supervised Learning: In Defense of Product-of-Experts

Svetlana Kutuzova, Oswin Krause외 3명|arXiv (Cornell University)|2021. 01. 18.

Generative Adversarial Networks and Image Synthesis참고 문헌 28인용 수 5

한 줄 요약

이 논문은 다중모달 반감독 학습을 위한 새로운 제품-전문가(Prod-Expert, PoE) 변분 오토인코더인 SVAE를 제안하며, 축약 원칙을 활용하여 공동 표현 학습을 향상시킨다. SVAE는 이미지, 텍스트, 질량 분석 스펙트럼 데이터와 같은 고차원 모달리티에서 낮은 감독 하에서도 일관되고 조건부 샘플을 생성하는 데서 MoE 및 이전 PoE 모델보다 뛰어난 성능을 보인다.

ABSTRACT

Multimodal generative models should be able to learn a meaningful latent representation that enables a coherent joint generation of all modalities (e.g., images and text). Many applications also require the ability to accurately sample modalities conditioned on observations of a subset of the modalities. Often not all modalities may be observed for all training data points, so semi-supervised learning should be possible. In this study, we propose a novel product-of-experts (PoE) based variational autoencoder that have these desired properties. We benchmark it against a mixture-of-experts (MoE) approach and an approach of combining the modalities with an additional encoder network. An empirical evaluation shows that the PoE based models can outperform the contrasted models. Our experiments support the intuition that PoE models are more suited for a conjunctive combination of modalities.

연구 동기 및 목표

• 훈련 중에 관측된 모달리티의 일부만 존재할 때 다중모달 데이터에서 의미 있는 공동 잠재 표현을 학습하는 데 도전하는 것.
• 혼합-전문가(MoE) 아키텍처가 다중모달 VAE에 대해 진정으로 부적합한지 여부를 조사하며, 이전의 MoE가 더 낫다는 주장에 도전하는 것.
• 정확한 조건부 생성 및 고차원 모달리티 간 반감독 학습을 가능하게 하는 이론적으로 탄탄한 PoE 기반 VAE(SVAE)를 개발하는 것.
• 합성 및 실제 데이터셋(이미지-텍스트 및 질량 분석 스펙트럼-분자 지문 작업 포함)에서 PoE 기반 모델이 MoE 및 이전 PoE 모델과 비교하여 성능을 평가하는 것.

제안 방법

• SVAE는 제품-전문가(PoE) 기반 메커니즘을 사용하여 잠재 공간에서 다중 모달리티의 일관되고 일관된 융합을 보장하기 위해 축약 원칙에서 유도된다.
• 각 모달리티에 대해 별도의 인코더를 사용하며, 공동 사후분포는 개별 전문가의 사후분포의 곱으로 구성된다.
• 재파rameterization 기법을 적용하여 backpropagation를 통한 엔드 투 엔드 학습을 가능하게 하며, 변분 하한의 기울기 기반 최적화를 허용한다.
• 관측된 모달리티를 기반으로 공동 사후분포에서 샘플링함으로써 조건부 생성을 가능하게 하며, 관측되지 않은 모달리티의 재구성 및 생성이 가능하다.
• 모델은 세 모달리티로 확장되었으며, 파rameter 효율성을 유지하면서 재구성 성능을 향상시켰다.
• 모델은 쌍화된 데이터와 쌍화되지 않은 데이터 모두에서 훈련함으로써 반감독 학습을 지원하며, 각 샘플에서 일부 모달리티만 관측된다.

실험 결과

연구 질문

• RQ1 제품-전문가(PoE) 기반 변분 오토인코더가 다중모달 반감독 학습에서 혼합-전문가(MoE) 접근법보다 뛰어나게 성능을 낼 수 있는가?
• RQ2 PoE 기반 SVAE 모델이 VAEVAE 및 MVAE와 같은 이전 PoE 모델보다 더 나은 공동 표현 학습과 조건부 생성 성능을 달성하는가?
• RQ3 특히 데이터의 소수만 쌍화되어 있을 때, PoE 기반 모델이 낮은 감독 하에서도 얼마나 잘 일반화되는가?
• RQ4 PoE 기반 모델은 질량 분석 스펙트럼 및 분자 지문과 같은 실제 고차원 다중모달 데이터를 효과적으로 처리할 수 있는가?
• RQ5 SVAE의 축약 원칙 기반 유도가 히우리스틱 PoE 설계에 비해 성능 향상과 파rameter 효율성 향상에 기여하는가?

주요 결과

• 반디지털 이미지 작업(MNIST 기반 반절 숫자 이미지)에서 PoE 기반 모델(SVAE 및 VAEVAE)은 낮은 감독 환경에서 MoE 기반 MMVAE보다 유의미하게 뛰어난 성능을 보였다.
• 이미지-텍스트 생성 작업에서, FID, CLIP, 크로스-일관성의 세 가지 지표에서 VAEVAE는 모든 경우에서 MMVAE를 능가했으며, PoE 모델은 더 뛰어난 크로스-일관성을 보였다.
• 실제 생물정보학 작업인 투 tandem 질량 분석 스펙트럼에서 분자 지문 예측에서 SVAE는 VAEVAE를 능가했으며, CASMI2017 도전 대회에서 후보 분자 식별의 랭크 정확도가 더 높았다.
• SVAE는 더 적은 파라미터를 사용하면서도 VAEVAE보다 개별 모달리티의 재구성 성능이 뛰어나 파라미터 효율성이 향상됨을 보여주었다.
• SVAE의 3모달 확장은 모든 모달리티에서 뛰어난 성능을 보였으며, 모델 복잡도가 감소함으로써 확장성과 강건성을 확인했다.
• 실험 결과는 PoE가 다중모달 VAE에 부적합하다는 주장에 반박하며, 모달리티의 결합(논리곱 AND-유사)에 PoE의 사용을 지지한다.