[논문 리뷰] MHVAE: a Human-Inspired Deep Hierarchical Generative Model for Multimodal Representation Learning

Miguel Vasco, Francisco S. Melo외 1명|arXiv (Cornell University)|2020. 06. 04.

Topic Modeling참고 문헌 29인용 수 4

한 줄 요약

MHVAE는 인간의 인지 구조를 모방한 계층적 변동형 오토인코더를 제안하며, 다중 모odal 표현을 모달별로 학습하고 공동으로 학습함으로써 강인한 다중 모달 간 추론을 가능하게 한다. 모달별 표현 드롭아웃을 사용하여 공동 사후분포를 근사함으로써, 최소한의 계산 비용으로도 모달별 재구성과 다중 모달 간 생성에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Humans are able to create rich representations of their external reality. Their internal representations allow for cross-modality inference, where available perceptions can induce the perceptual experience of missing input modalities. In this paper, we contribute the Multimodal Hierarchical Variational Auto-encoder (MHVAE), a hierarchical multimodal generative model for representation learning. Inspired by human cognitive models, the MHVAE is able to learn modality-specific distributions, of an arbitrary number of modalities, and a joint-modality distribution, responsible for cross-modality inference. We formally derive the model's evidence lower bound and propose a novel methodology to approximate the joint-modality posterior based on modality-specific representation dropout. We evaluate the MHVAE on standard multimodal datasets. Our model performs on par with other state-of-the-art generative models regarding joint-modality reconstruction from arbitrary input modalities and cross-modality inference.

연구 동기 및 목표

• 다양한 감각 모달 간 계층적 표현을 학습함으로써 인간의 인지 처리 방식을 모방하는 다중 모달 생성 모델을 개발하는 것.
• 부분적인 입력에서 누락된 모달을 재구성하는 다중 모달 간 추론을 가능하게 하기 위해, 모달별 및 공동 분포를 함께 모델링하는 것.
• 모든 모달을 하나의 공유 공간에 강제로 통합함으로써 표현 능력을 저하시키는 단일 잠재 공간 모델의 한계를 해결하는 것.
• 임의의 수의 모달에 대해 확장 가능한 공동 모달 분포의 효율적 사후 근사 방법을 제안하는 것.
• 표준 벤치마크에서 모델을 평가하고 재구성 및 다중 모달 간 생성에서 뛰어난 성능을 입증하는 것.

제안 방법

• MHVAE는 인간의 인지 모델인 수렴-분산 영역(CDZ)에 영감을 받아, 모달별 인코더와 공유된 공동 인코딩 레이어를 갖춘 계층적 아키텍처를 사용한다.
• 계층적 다중 모달 환경에 대해 공식적으로 유도된 기초 증거 하한(ELBO)을 최적화하기 위해 변동형 추론 프레임워크를 사용한다.
• 새로운 사후 근사 방법으로 모달별 표현 드롭아웃을 도입하여, 추가적인 추론 네트워크 없이도 효과적인 공동 사후 추정을 가능하게 한다.
• 백프로파게이션을 통해 엔드 투 엔드로 학습되며, 드롭아웃 메커니즘이 최적화 중 다중 모달 일반화를 촉진한다.
• 모델은 임의의 수의 입력 모달을 지원하며, 동시에 모달별 표현 능력을 유지하면서도 공동 추론을 가능하게 한다.
• 계층적 구조와 드롭아웃 기반의 사후 근사를 통해 비용이 많이 드는 쌍별 발산 항목을 피한다.

실험 결과

연구 질문

• RQ1 계층적 생성 모델은 단일 잠재 공간 모델보다 다중 모달 표현 학습에서 더 뛰어난 성능을 보일 수 있는가?
• RQ2 다양한 모달 간에 확장 가능한 방식으로 다중 모달 간 추론을 효과적으로 학습하고 최적화할 수 있는가?
• RQ3 모달별 표현 드롭아웃은 공동 모달 사후분포를 근사하는 데 효과적이고 효율적인 방법이 될 수 있는가?
• RQ4 MHVAE는 표준 벤치마크에서 최신 기술 수준의 모델보다 더 나은 재구성 및 다중 모달 간 생성 성능을 달성하는가?
• RQ5 CelebA와 같은 복잡한 데이터셋에서 표현 공간의 차원 수는 성능에 어떤 영향을 미치는가?

주요 결과

• MNIST와 FashionMNIST에서 MHVAE는 낮은 차원의 표현 공간을 사용함에도 불구하고, 모달별 재구성에서 최신 기술 수준의 성능을 달성한다.
• CelebA 데이터셋에서 MHVAE는 공동 모달 재구성과 다중 모달 간 추론에서 다른 최신 기술 수준의 모델들과 비슷한 성능을 보였다.
• 레이블 기반 평가를 통해 MVAE 모델보다 MHVAE가 다중 모달 간 추론 성능에서 뛰어난 성능을 보였다.
• 제안된 모달별 표현 드롭아웃 방법은 최소한의 계산 오버헤드로 효율적인 공동 사후 근사를 가능하게 했다.
• 계층적 설계는 모달별 표현 능력을 유지하면서도, 입력이 불완전한 조건에서도 강인한 다중 모달 간 생성을 가능하게 했다.
• 모듈러한 아키텍처와 효율적인 사후 근사를 통해 모델은 다양한 수의 모달로의 일반화와 확장성에 뛰어난 성능을 보였다.