[논문 리뷰] Embrace the Gap: VAEs Perform Independent Mechanism Analysis

Patrik Reizinger, Luigi Gresele외 7명|arXiv (Cornell University)|2022. 06. 06.

Model Reduction and Neural Networks인용 수 5

한 줄 요약

이 논문은 기댓값 하한(lower bound, ELBO)과 정확한 로그우도(log-likelihood) 사이의 격차를 활용하여 변분 오토인코더(Variational Autoencoders, VAEs)가 독립적 기구 분석(Independent Mechanism Analysis, IMA)을 수행함을 보여준다. 거의 결정론적인 디코더 근처에서 최적의 인코더는 디코더를 약간 역전환하는 성질을 가지며(self-consistency), 이로 인해 ELBO는 디코더의 야코비안(Jacobian)에 열수직(column-orthogonal)을 강제하는 정규화된 우도로 수렴한다. 이는 디코더의 야코비안에 대한 인덕티브 바이어스(inductive bias)로서, 데이터 생성 과정이 IMA 조건을 만족할 경우 진정한 분리 가능한 잠재 요인을 복원하는 데 기여한다.

ABSTRACT

Variational autoencoders (VAEs) are a popular framework for modeling complex data distributions; they can be efficiently trained via variational inference by maximizing the evidence lower bound (ELBO), at the expense of a gap to the exact (log-)marginal likelihood. While VAEs are commonly used for representation learning, it is unclear why ELBO maximization would yield useful representations, since unregularized maximum likelihood estimation cannot invert the data-generating process. Yet, VAEs often succeed at this task. We seek to elucidate this apparent paradox by studying nonlinear VAEs in the limit of near-deterministic decoders. We first prove that, in this regime, the optimal encoder approximately inverts the decoder -- a commonly used but unproven conjecture -- which we refer to as {\em self-consistency}. Leveraging self-consistency, we show that the ELBO converges to a regularized log-likelihood. This allows VAEs to perform what has recently been termed independent mechanism analysis (IMA): it adds an inductive bias towards decoders with column-orthogonal Jacobians, which helps recovering the true latent factors. The gap between ELBO and log-likelihood is therefore welcome, since it bears unanticipated benefits for nonlinear representation learning. In experiments on synthetic and image data, we show that VAEs uncover the true latent factors when the data generating process satisfies the IMA assumption.

연구 동기 및 목표

• 최대우도추정의 비가역성에도 불구하고 VAE가 왜 분리 가능한 표현을 학습하는지에 대한 역설을 해결하기 위해
• 근사 결정론적 디코더 영역에서 최적의 VAE 인코더의 자기일致성(self-consistency)을 공식화하고 증명하기 위해
• 자기일치 조건 하에서 ELBO가 정규화된 로그우도로 수렴하며, 이 정규화가 디코더 야코비안의 열수직성을 유도함을 보여주기 위해
• 이 정규화가 진정한 분리 가능한 잠재 요인을 복원하는 데 기여하는 IMA 조건을 만족하는 데이터 생성 과정에서 효과를 발휘함을 검증하기 위해

제안 방법

• 자기일치성 증명: 근사 결정론적 근처에서 최적의 변분 사후 인코더는 결정론적 디코더를 약간 역전환한다.
• ELBO의 극한 형태를 유도하여, 정규화 항이 디코더 야코비안의 열수직성을 강제하는 정규화된 로그우도로 표현한다.
• 이 정규화가 분리 가능한 표현 학습을 촉진하는 독립적 기구 분석(Independent Mechanism Analysis, IMA)과 등가임을 규명한다.
• 대각행렬 사후 공분산을 가진 가우시안 VAE를 사용하여 인코더 야코비안에 행수직(row-orthogonality)을 유도함으로써, 이는 디코더의 열수직과 등가임을 보여준다.
• IMA 조건을 만족하는 합성 데이터(Möbius 변환) 및 이미지 데이터(Sprites) 세트에서 VAE를 학습하여 분리도를 평가한다.
• 고정된 γ²(디코더 노이즈의 분산)과 최대우도추정을 통해 추정한 γ²를 비교하여, 합성 실험에서 최적의 γ²가 약 1e5임을 확인한다.

실험 결과

연구 질문

• RQ1 표준 잠재변수 모델에서 식별불능(identifiability)이 존재함에도 불구하고 VAE가 왜 분리 가능한 표현을 학습하는가?
• RQ2 비선형 VAE의 근사 결정론적 근처에서 인코더가 디코더를 약간 역전환하는 자기일치성(self-consistency)이 타당한가?
• RQ3 결정론적 근처에서 ELBO가 정규화된 우도로 수렴하는가? 그리고 정규화의 성격은 무엇인가?
• RQ4 이 정규화가 디코더에서 열수직 야코비안을 유도하여 독립적 기구 분석(Independent Mechanism Analysis, IMA)을 가능하게 하는가?
• RQ5 어떤 조건에서 VAE는 합성 및 실제 세계 데이터에서 진정한 잠재 요인을 복원할 수 있는가?

주요 결과

• 최적의 VAE 인코더는 근사 결정론적 근처에서 디코더를 약간 역전환하며, 이는 자기일치성 추측을 증명한다.
• 자기일치 조건 하에서 ELBO는 정규화된 로그우도로 수렴하며, 정규화 항이 디코더 야코비안의 열수직성을 강제한다.
• 이 정규화는 진정한 잠재 요인을 복원하는 데 기여하는 독립적 기구 분석(Independent Mechanism Analysis, IMA)과 등가이다.
• Möbius 변환을 사용한 합성 실험에서, IMA 조건이 만족될 경우 VAE는 진정한 잠재 요인을 성공적으로 복원한다.
• Sprites 데이터셋에서, 적절한 γ² 초모수를 가진 VAE는 MCC 및 MIG와 같은 지표로 측정된 높은 분리도를 달성한다.
• γ²의 최대우도추정치는 격자 탐색을 통해 구한 최적의 γ²와 같은 주기대수의 크기를 가진다(평균 2.3e5 ± 0.77e5), 실험에서 γ² = 1e5를 선택한 것이 타당함을 검증한다.