[논문 리뷰] Disentangled VAE Representations for Multi-Aspect and Missing Data

Samuel Ainsworth, Nicholas J. Foti외 1명|arXiv (Cornell University)|2018. 06. 24.

Generative Adversarial Networks and Image Synthesis참고 문헌 15인용 수 7

한 줄 요약

이 논문은 다중 측면 데이터(예: 시야, 모odalities)에 걸쳐 변분 오토인코더를 인과적으로 분해함으로써 누락된 데이터 상황에서도 강건한 생성 및 재구성 기능을 가능하게 하는 factVAE라는 딥 생성 모델을 제안한다. 후행 분포 집합을 위한 전문가의 제품(Product of Experts)과 군집 희소 사전을 사용함으로써, 인과적 분리가 이루어지며, 운동 캡처 및 다중 자세 얼굴 데이터셋에서 최신 기준 성능을 달성한다. 이는 관측 수가 제한적이거나 불완전한 경우에도 성립하며, 해석 가능한, 분리된 잠재 표현을 생성한다.

ABSTRACT

Many problems in machine learning and related application areas are fundamentally variants of conditional modeling and sampling across multi-aspect data, either multi-view, multi-modal, or simply multi-group. For example, sampling from the distribution of English sentences conditioned on a given French sentence or sampling audio waveforms conditioned on a given piece of text. Central to many of these problems is the issue of missing data: we can observe many English, French, or German sentences individually but only occasionally do we have data for a sentence pair. Motivated by these applications and inspired by recent progress in variational autoencoders for grouped data, we develop factVAE, a deep generative model capable of handling multi-aspect data, robust to missing observations, and with a prior that encourages disentanglement between the groups and the latent dimensions. The effectiveness of factVAE is demonstrated on a variety of rich real-world datasets, including motion capture poses and pictures of faces captured from varying poses and perspectives.

연구 동기 및 목표

• 전통적인 VAE가 완전히 관측된 입력을 요구하기 때문에, 누락된 관측이 있는 다중 측면 데이터에서 딥 생성 모델을 훈련하는 데 도전하는 문제를 해결하기 위해.
• 다양한 데이터 측면(예: 시야, 모달리티, 센서 그룹)을 통합적으로 모델링하면서도, 해석 가능성과 강건성을 유지하는 통합 프레임워크를 개발하기 위해.
• 각기 다른 측면이 희소하고 겹치지 않는 잠재 차원 부분집합에 연결되도록 하여, 잠재 차원 간의 분리된 표현 학습을 가능하게 하기 위해.
• 공유된 희소성과 측면별 인코더의 일관된 집합을 활용하여, 낮은 데이터 환경에서의 재구성 성능을 향상시키기 위해.
• 사전 보정 없이도, 구조화된 다중 측면 데이터에서 임의의 누락 패턴을 다룰 수 있는 원칙적인 방법을 제공하기 위해.

제안 방법

• 각 측면에 대해 독립적으로 처리되고 나서 일관되게 통합될 수 있도록, VAE 인코더와 디코더를 측면별 매핑으로 분해한다.
• 측면별 변분 사후분포를 조합하기 위해 전문가의 제품(PoE) 프레임워크를 사용하여, 관측된 측면이 많을수록 사후 분포의 엔트로피가 감소하도록 보장한다.
• 각 측면이 별개의 잠재 차원 부분집합에 연결되도록 인코더 및 디코더의 가중치에 군집 희소 사전을 적용하여 희소성을 강제한다.
• 인코더와 디코더 구성 요소 간에 공유된 희소성을 부여하여 일관된 잠재 공간 지지도를 확보하고 일반화 성능을 향상시킨다.
• 추론(인코더)과 생성(디코더) 모두에 깊은 신경망을 사용하며, 확률적 경사 하강 변분 추론을 통해 파라미터를 최적화한다.
• 재구성 기법을 사용하여, 훈련 및 추론 중에 누락된 데이터가 존재하더라도 전체 모델의 엔드 투 엔드 훈련이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 훈련 또는 추론 중 일부 측면이 누락된 경우, 딥 생성 모델이 다중 측면 데이터를 효과적으로 재구성할 수 있는가?
• RQ2 다중 측면 VAE에서 측면과 잠재 차원 간의 분리가 어떻게 강제될 수 있는가? 이는 표현의 해석 가능성과 일반화 능력을 향상시킬 수 있는가?
• RQ3 측면별 인코더를 조합하기 위한 전문가의 제품 접근법이, 누락된 데이터 환경에서 표준 VAE보다 더 나은 사후 근사 및 재구성 성능을 제공하는가?
• RQ4 인코더 및 디코더 가중치의 공유된 희소성이 다중 측면 데이터에서 더 해석 가능하고 강건한 표현을 만들어낼 수 있는가?
• RQ5 기존 방법들인 JMVAE나 표준 VAE와 비교했을 때, factVAE는 낮은 데이터 환경에서 어떻게 성능을 발휘하는가?

주요 결과

• 운동 캡처 데이터셋에서 factVAE는 테스트 로그우도에서 최신 기준 성능을 달성했으며, 10개의 시퀀스로 훈련했을 때 보류된 걷기 시퀀스에서 89의 점수를 기록하여 기준 JMVAE와 비희소 factVAE 변종보다 뛰어난 성능을 보였다.
• CVL 얼굴 데이터베이스에서 factVAE는 미리보지 않은 주체에 대해 누락된 자세(예: 이가 드러나 있는 미소)를 성공적으로 재구성했으며, 단일 시야에 조건을 줬을 때도 현실적인 샘플을 생성했다.
• 운동 캡처 및 얼굴 데이터셋 양쪽에서 모델은 뛰어난 재구성 품질을 보였으며, 정성적 결과에서 복잡한 자세와 얼굴 기능을 정확하게 복원하는 것으로 나타났다.
• 학습된 희소성 패턴은 해석 가능한 관계를 드러냈다. 예를 들어, 사지와 핵심 부위는 별개의 잠재 차원에 연결되었으며, 척추와 머리 그룹은 여러 구성 요소와 겹쳤다.
• 합성 바 실험에서 factVAE는 진짜 기반 희소성 구조를 정확히 복원했으며, 의미 있는 분리된 표현을 학습할 수 있음을 확인했다.
• 군집 희소 사전(λ=1)의 포함으로 인해 비희소 기준(λ=0)보다 성능이 크게 향상되었으며, 10회 시행 설정에서 로그우도 점수는 555에서 600으로 상승하여, 희소성이 강건성에 중요한 역할을 한다는 것을 시사했다.