[논문 리뷰] Variational Autoencoders and Nonlinear ICA: A Unifying Framework

Ilyes Khemakhem, Diederik P. Kingma외 2명|arXiv (Cornell University)|2019. 07. 10.

Neural Networks and Applications참고 문헌 30인용 수 130

한 줄 요약

논문은 관찰 변수에 의존하는 조건부 팩토리얼 잠재 분포를 도입하여 VAE의 식별 가능성을 제시하고, 식별 가능한 비선형 ICA와 VAE를 통일하며 간단한 변환까지 잠재 소스의 복원을 입증합니다.

ABSTRACT

The framework of variational autoencoders allows us to efficiently learn deep latent-variable models, such that the model's marginal distribution over observed variables fits the data. Often, we're interested in going a step further, and want to approximate the true joint distribution over observed and latent variables, including the true prior and posterior distributions over latent variables. This is known to be generally impossible due to unidentifiability of the model. We address this issue by showing that for a broad family of deep latent-variable models, identification of the true joint distribution over observed and latent variables is actually possible up to very simple transformations, thus achieving a principled and powerful form of disentanglement. Our result requires a factorized prior distribution over the latent variables that is conditioned on an additionally observed variable, such as a class label or almost any other observation. We build on recent developments in nonlinear ICA, which we extend to the case with noisy, undercomplete or discrete observations, integrated in a maximum likelihood framework. The result also trivially contains identifiable flow-based generative models as a special case.

연구 동기 및 목표

• 깊은 잠재 변수 모델에서 주변 데이터 적합도를 넘어 식별 가능성을 동기화합니다.
• 식별 가능성을 가능하게 하는 p(z|u) 조건부 팩토리얼 잠재 prior를 도입합니다.
• 최대 우도 프레임워크 내에서 VAEs와 식별 가능한 비선형 ICA를 통일합니다.
• 식별 가능한 priors가 잠재 구조의 복원과 데이터 합성을 촉진한다는 것을 보입니다.

제안 방법

• 조건부 생성 모델 p(x,z|u)=p_f(x|z)p_T,lambdab(z|u)로 정의하고 x=f(z)+epsilon라고 가정합니다.
• f가 단사이고 epsilon가 독립 노이즈임을 가정합니다.
• p(z|u)를 lambda(u)로 매개변수를 갖는 조건부 팩토리얼 지수 family prior로 규정합니다.
• 변분 하한 및 재표본화(trick)를 통해 식별 가능한 VAE(iVAE)를 학습합니다.
• 가역적 선형 변환 A와 성분별 변환 T_i에 대해 식별 가능성을 보여줍니다.
• 비선형 ICA와의 연관 프레임워크를 제시하고 정규화 흐름(normalizing flows)을 포함한 특수 사례를 논의합니다.

실험 결과

연구 질문

• RQ1 잠재 prior가 관찰 변수 u에 조건화될 때 VAE가 실제 결합 분포 p(x,z)를 식별할 수 있는가?
• RQ2 .모델이 간단한 변환(A 및 T_i)으로만 식별 가능한지 여부는 어떤 조건에서인지?
• RQ3 잠재 prior를 u에 조건화하는 것이 VAE를 비선형 ICA 및 식별 가능 흐름 모델과 어떻게 연결하는가?
• RQ4 제안된 iVAE가 실무적으로 잠재 소스의 복원과 usable한 데이터 합성을 가능하게 하는가?

주요 결과

• 조건화된 잠재 prior를 가진 광범위한 심층 잠재 변수 모델에 대해 간단한 변환까지의 식별 가능성이 달성됩니다.
• 온전한 조건에서 가역적 선형 변환 및 구성요소별 비선형성(T_i)까지 잠재 변수를 복원할 수 있습니다.
• 최대 우도 유사 objective를 통해 추정된 iVAE 프레임워크는 시뮬레이션에서 실제 결합 분포에 가깝은 잠재 표현을 제공합니다.
• 시뮬레이션에서 iVAE는 실제 소스 복원 측면에서 일반 VAE 및 해제(해소) 기반 기준선보다 현저히 우수합니다(예: 2D 실험에서 MCC > 95%).
• 이 접근법은 VAE와 비선형 ICA 간의 원칙적인 연결고리를 제공하고, 식별 가능한 흐름 기반 모델을 특수한 경우로 포괄합니다.