[논문 리뷰] On Implicit Regularization in $β$-VAEs

Abhishek Kumar, Ben Poole|arXiv (Cornell University)|2020. 01. 31.

Generative Adversarial Networks and Image Synthesis인용 수 12

한 줄 요약

이 논문은 변분 가족이 디코더에서 유일성과 기하학을 어떻게 강제하는지 분석함으로써 $β$-VAEs의 암묵적 정규화를 밝혀낸다. 디코더의 야코비안과 헤시안을 기반으로 한 분석 정규화를 갖는 결정론적 오토에코딩 목적함수를 유도하며, MNIST와 CelebA에서 $β$-VAE와 목적값 및 샘플 품질에서 강력한 경험적 일치를 보인다.

ABSTRACT

While the impact of variational inference (VI) on posterior inference in a fixed generative model is well-characterized, its role in regularizing a learned generative model when used in variational autoencoders (VAEs) is poorly understood. We study the regularizing effects of variational distributions on learning in generative models from two perspectives. First, we analyze the role that the choice of variational family plays in imparting uniqueness to the learned model by restricting the set of optimal generative models. Second, we study the regularization effect of the variational family on the local geometry of the decoding model. This analysis uncovers the regularizer implicit in the $β$-VAE objective, and leads to an approximation consisting of a deterministic autoencoding objective plus analytic regularizers that depend on the Hessian or Jacobian of the decoding model, unifying VAEs with recent heuristics proposed for training regularized autoencoders. We empirically verify these findings, observing that the proposed deterministic objective exhibits similar behavior to the $β$-VAE in terms of objective value and sample quality.

연구 동기 및 목표

• VAE에서 변분 추론이 명시적 인도적 편향이 없는 상황에서 학습된 생성 모델을 정규화하는 데서 수행하는 역할을 이해하는 것.
• 변분 가족의 선택이 해의 유일성과 식별 가능성에 어떻게 영향을 주는지 분석하여 해의 공간을 제한함으로써 영향을 분석하는 것.
• 변분 분포가 디코더의 국소 기하학에 미치는 정규화 효과를 기하학적 특성, 특히 공분산 구조를 통해 기술하는 것.
• 야코비안과 헤시안 항을 통해 $β$-VAE 목적함수의 암묵적 정규화를 포괄하는 결정론적 근사 목적함수를 도출하는 것.
• 이론적 근사의 경험적 검증을 통해 유도된 목적함수가 $β$-VAE와 목적값 및 샘플 품질 측면에서 유사한 성능을 보임을 보여주는 것.

제안 방법

• 모델의 유일성에 미치는 변분 가족의 영향을 분석하기 위해, 주어진 마진널 likelihood는 유지하지만 잠재 표현을 변화시키는 변환을 규명한다.
• 가우시안 가정 하에 변분 사후 $q(z|x)$의 공분산과 디코더의 야코비안 $J_g(z)$ 간의 관계를 유도한다.
• $β$-VAE 목적함수의 두 번째 차수 테일러 전개를 통해 변분 추론 항을 근사함으로써, 분석 정규화를 갖는 결정론적 목적함수를 도출한다.
• 스토케스틱 KL 항을 $J_g(z)^\top J_g(z)$와 $\Sigma_{z|x}$ 기반의 결정론적 정규화로 대체하는 새로운 목적함수 GRAE ≈을 제안한다.
• 훈련을 위해 GRAE ≈ 목적함수의 스토케스틱 근사를 사용하며, 인코더와 디코더 정규화 항에 고정된 $β/2$ 가중치를 적용한다.
• 목적값, FID 점수, 그리고 샘플의 정성적 품질을 비교하여 근사의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 변분 가족의 선택이 $β$-VAEs에서 해의 유일성에 어떻게 영향을 주는가?
• RQ2 $β$-VAE 목적함수에 내장된 암묵적 정규화는 무엇이며, 디코더의 기하학과 어떻게 관련되어 있는가?
• RQ3 디코더의 야코비안과 헤시안을 기반으로 한 분석 정규화를 갖는 결정론적 오토에코딩 목적함수는 $β$-VAE 목적함수를 얼마나 잘 근사할 수 있는가?
• RQ4 유도된 결정론적 목적함수(GRAE ≈)는 목적값과 샘플 품질 측면에서 $β$-VAE의 행동과 얼마나 유사한가?
• RQ5 변분 사후 공분산의 구조와 디코더 야코비안의 국소 기하학 간의 관계는 무엇인가?

주요 결과

• 특히 공분산 구조를 갖는 변분 가족의 선택은 최적의 생성 모델 집합을 제한하며, 식별 불가능한 변환을 배제함으로써 유일성을 강제한다.
• 가우시안 변분 분포의 경우, 역공분산 $\Sigma_{z|x}^{-1}$은 행렬 $J_g(h(x))^\top J_g(h(x))$와 밀접하게 관련되어 있으며, $\Sigma_{z|x}^{-1}$의 블록 대각형 구조는 디코더 야코비안 그램 행렬의 블록 대각형 구조를 촉진한다.
• 유도된 결정론적 목적함수인 GRAE ≈은 다양한 $β$ 값에 대해 $β$-VAE 목적함수를 매우 잘 근사하며, 특히 작은 $β$ 값일 경우 목적값이 매우 유사하게 유지된다.
• MNIST와 CelebA에서의 경험적 평가 결과, GRAE ≈로 훈련된 모델은 $β$-VAE와 유사한 품질의 샘플을 생성하며, $β \geq 0.01$일 경우 FID 점수도 유사하게 유지된다.
• $β$-VAE 목적함수와 그 테일러 근사 간의 격차는 $β$가 증가함에 따라 커지지만, 목적함수의 추세는 유사하여 근사의 정확성을 검증한다.
• 비가우시안 관측 모델에 대해서도 대각형 또는 블록 대각형 변분 사후가 디코더 야코비안에 해당하는 구조적 편향을 유도함을 보여, 이전 결과(Rolinek et al., 2019)를 일반화한다.