[논문 리뷰] Private-Shared Disentangled Multimodal VAE for Learning of Hybrid Latent Representations

Mihee Lee, Vladimir Pavlović|arXiv (Cornell University)|2020. 12. 23.

Topic Modeling참고 문헌 12인용 수 9

한 줄 요약

이 논문은 이미지-속성 벤치마크에서 데이터 불균형 상황에서도 성능을 높이는, 사전 및 공유 잠재 공간을 분리하는 이질적 다중모달 변동형 오토인코더(DMVAE)를 제안한다. Gumbel-Softmax와 정규분포를 이용한 하이브리드 연속 및 이산 표현을 통해, 기존 MVAE 대비 정확도와 F1 점수에서 뛰어난 준수 학습 성능을 달성한다.

ABSTRACT

Multi-modal generative models represent an important family of deep models, whose goal is to facilitate representation learning on data with multiple views or modalities. However, current deep multi-modal models focus on the inference of shared representations, while neglecting the important private aspects of data within individual modalities. In this paper, we introduce a disentangled multi-modal variational autoencoder (DMVAE) that utilizes disentangled VAE strategy to separate the private and shared latent spaces of multiple modalities. We specifically consider the instance where the latent factor may be of both continuous and discrete nature, leading to the family of general hybrid DMVAE models. We demonstrate the utility of DMVAE on a semi-supervised learning task, where one of the modalities contains partial data labels, both relevant and irrelevant to the other modality. Our experiments on several benchmarks indicate the importance of the private-shared disentanglement as well as the hybrid latent representation.

연구 동기 및 목표

• 기존 다중모달 VAE가 공유 표현에만 집중하여 모ality별 전용 사전 요소를 간과하는 한계를 해결하기 위해.
• 다중모달 데이터에서 사전 및 공유 잠재 공간을 명시적으로 분리함으로써 분리 표현 학습을 가능하게 하기 위해.
• 이산 및 연속 양식의 하이브리드 잠재 요소를 Gumbel-Softmax와 정규분포를 사용해 모델링하여 범주형 속성과의 보다 우아한 정렬을 달성하기 위해.
• 특정 모달리티에서 레이블이 일부 또는 불균형하게 제공되는 상황에서도 준수 학습 성능을 향상시키기 위해, 특히 레이블이 일관되지 않거나 불균형한 경우에 유의미한 성능 향상을 이끌기 위해.
• 분리 표현과 하이브리드 표현이 생성 및 예측 성능에 상당한 기여를 한다는 것을 검증하기 위해.

제안 방법

• 각 모달리티별로 별도의 인코더와 디코더를 사용하여 사전 잠재 표현을 학습하고, 공유 표현은 제품-전문가(PoE) 추론 네트워크를 통해 추론한다.
• 잠재 요소 간 상관성을 줄이기 위해 VAE 목적함수에 총 상관도(TC) 정규화를 도입하여 분리 표현을 강제한다.
• 이산 잠재 요소는 이산적 샘플링을 가능하게 하기 위해 Gumbel-Softmax 리프레젠테이션을 사용하여 미분 가능하게 모델링한다. 이는 얼굴 특징 같은 범주형 속성에 적합하다.
• 연속 잠재 요소는 동질 분산 정규분포로 모델링되어 재파rameterization을 통한 표준 VAE 학습이 가능하다.
• 종합적인 프레임워크는 재구성 및 분리 표현을 위한 별도의 손실 항목을 포함하는 하이브리드 VAE 목적함수를 통해 사전, 공유, 분리된 표현을 동시에 최적화한다.
• 교차 생성은 한 모달리티의 공유 잠재 표현을 다른 모달리티로 전달하여 재구성하는 방식으로 수행되며, 이는 제로샷 속성 전이를 가능하게 한다.

실험 결과

연구 질문

• RQ1 사전 및 공유 잠재 공간의 명시적 분리가 준수 학습 환경에서 다중모달 표현 학습에 긍정적인 영향을 미칠 수 있는가?
• RQ2 공유 및 사전 요소의 분리 표현이 다중모달 생성 및 분류 작업 성능에 어떤 영향을 미치는가?
• RQ3 연속 및 이산 양식의 하이브리드 잠재 요소를 모델링함으로써 다중모달 데이터에서 범주형 속성과의 정렬성이 향상되는가?
• RQ4 MVAE와 비교했을 때, 제안된 DMVAE 모델은 데이터 불균형 또는 레이블 부분 제공 상황에서 어떻게 성능을 발휘하는가?
• RQ5 총 상관도를 통한 분리 강제가 학습된 요소의 해석 가능성과 분리도에 얼마나 기여하는가?

주요 결과

• 모든 18개의 얼굴 속성에 대해 DMVAE는 MVAE 대비 분류 정확도와 F1 점수에서 뛰어난 성능을 보이며, 짝지어진 데이터가 많아질수록 성능 향상이 지속된다.
• MVAE는 100% 짝지어진 데이터에서 F1 점수가 감소하는 반면, DMVAE는 성능이 계속 향상되어 데이터 불균형에 대한 강건성을 입증한다.
• 정성적 합성 결과에서 유일한 정체성과 배경을 유지하면서도 목표 속성만 변경됨을 통해, 더 나은 속성 전이 품질을 달성한다.
• 단절 실험 결과에 따르면 이산 잠재 요소가 성능 향상에 상당한 영향을 미치며, 얼굴 속성의 범주형 성격과 부합함을 확인한다.
• TC 정규화 가중치를 증가시킬수록 공유 잠재 요소의 분리도가 향상되고, 이는 높은 분류 정확도로 이어지며 분리 표현의 중요성을 입증한다.
• Gumbel-Softmax의 사용은 이산 요소의 효과적인 학습을 가능하게 하며, 하이브리드 연속-이산 표현은 모델의 표현력과 성능을 향상시킨다.