[논문 리뷰] Improving Variational Auto-Encoders using Householder Flow

Jakub M. Tomczak, Max Welling|arXiv (Cornell University)|2016. 11. 29.

Generative Adversarial Networks and Image Synthesis참고 문헌 19인용 수 83

한 줄 요약

이 논문은 히우세어 플로우(Householder Flow)를 제안하며, 일련의 히우세어 변환을 통해 전체 공분산 사후분포를 모델링함으로써 변분 오토인코더(VAEs)를 향상시키는 체적 보존(normalizing flow)을 제시한다. 기저-핵심 표현을 통해 정규직교 행렬을 매개변수화하고 히우세어 반사(reflection)를 적용함으로써, 저비용의 계산으로도 높은 유연성의 사후분포 근사가 가능해지며, MNIST 및 히스토파스ولوج리 데이터에서 기준 VAE 및 다른 정규화 플로우보다 우수한 가능도와 감소된 분산을 달성한다.

ABSTRACT

Variational auto-encoders (VAE) are scalable and powerful generative models. However, the choice of the variational posterior determines tractability and flexibility of the VAE. Commonly, latent variables are modeled using the normal distribution with a diagonal covariance matrix. This results in computational efficiency but typically it is not flexible enough to match the true posterior distribution. One fashion of enriching the variational posterior distribution is application of normalizing flows, i.e., a series of invertible transformations to latent variables with a simple posterior. In this paper, we follow this line of thinking and propose a volume-preserving flow that uses a series of Householder transformations. We show empirically on MNIST dataset and histopathology data that the proposed flow allows to obtain more flexible variational posterior and competitive results comparing to other normalizing flows.

연구 동기 및 목표

• 기본 대각행렬 가우시안 근사 이외의 사후분포의 자유도를 향상시키기 위해.
• 계산 효율성을 위해 체적 보존(자기안행렬식 = 1)을 유지하는 정규화 플로우를 개발하기 위해.
• 히우세어 반사에서 유도된 정규직교 변환을 사용하여 전체 공분산 사후분포를 모델링하기 위해.
• 기본 정규화 플로우보다 파arameter 수를 줄이면서도 가능도 성능을 유지하거나 향상시키기 위해.
• 실제 응용 가능성을 위해 MNIST 및 도전적인 히스토파스ولوج리 이미지 데이터에 대해 방법을 평가하기 위해.

제안 방법

• 이 방법은 잠재공간을 회전시키는 정규직교 행렬을 구성하기 위해 히우세어 변환을 사용하며, 체적을 보존하고 높은 자유도의 사후분포 모델링이 가능하다.
• 각 정규직교 행렬이 정확히 K개의 히우세어 반사의 곱으로 표현되는 정규직교 행렬의 기저-핵심 표현을 활용한다.
• 유한한 역행이 가능하고 체적을 보존하는 변환으로서의 플로우를 적용한다: z^{(t)} = f^{(t)}(z^{(t-1)}), 자코비안 행렬식 |det ∂f^{(t)}/∂z^{(t-1)}| = 1이다.
• 사후분포는 q(z^{(T)}|x) = N(z^{(T)}; μ(x), Σ(x))로 모델링되며, Σ(x)는 대각공분산에 히우세어 기반 정규직교 변환을 적용하여 학습된다.
• 표준 VAE 목적함수를 사용하여 재구성 기법과 변분 하한을 활용해 엔드 투 엔드로 모델을 훈련한다.
• 표준 VAE에 비해 T×M개의 추가 파라미터만 필요하며, NICE나 NF와 같은 다른 정규화 플로우보다 훨씬 적다.

실험 결과

연구 질문

• RQ1 히우세어 변환에 기반한 체적 보존 정규화 플로우가 VAE의 사후분포 자유도를 향상시킬 수 있는가?
• RQ2 히우세어 플로우가 더 적은 파라미터로 표준 VAE 및 다른 정규화 플로우보다 더 높은 가능도를 달성하는가?
• RQ3 히우세어 플로우는 복잡한 실생활 데이터인 히스토파스ولوج리 이미지에서 어떻게 성능을 발휘하는가?
• RQ4 더 나은 사후분포 근사가 가능해짐으로써 히우세어 플로우가 쿨라벡-라이블러 발산 페널티를 줄일 수 있는가?
• RQ5 히우세어 플로우는 고차원 잠재공간에 대해 계산적으로 효율적이고 확장 가능한가?

주요 결과

• MNIST에서 T=10을 사용한 VAE+HF는 기준 VAE에 비해 더 낮은 재구성 오차와 감소된 KL 발산을 기록하여 더 나은 사후분포 근사가 가능함을 보여주었다.
• 히스토파스ولوج리 데이터에서 T=20을 사용한 VAE+HF는 마진널 로그가능도에서 약간의 향상을 보였으며, 테스트 세트에서 1398.27 ± 8.11 nats에 도달했다.
• VAE+HF 모델은 반복 실험에서 성능의 분산이 낮아, T=1, 10, 20일 때 표준편차가 각각 22.09, 15.15, 8.11 nats였다.
• 히우세어 플로우는 오직 T×M개의 추가 파라미터만 필요했으며, VAE+NICE(M(M-1)/2)와 VAE+NF(O(T×M))에 비해 훨씬 적었다.
• 낮은 계산 비용으로도 경쟁 가능한 성능을 달성하여, 체적 보존 플로우가 자유도와 효율성을 동시에 확보할 수 있음을 입증했다.
• 가능도 향상과 감소된 KL 페널티는 히우세어 플로우가 진짜 공분산의 고유값을 더 잘 모델링함으로써 사후분포의 적합도를 향상시킬 수 있음을 시사한다.