[논문 리뷰] Conditional Inference in Pre-trained Variational Autoencoders via Cross-coding

Ga Wu, Justin Domke외 1명|arXiv (Cornell University)|2018. 05. 20.

Generative Adversarial Networks and Image Synthesis참고 문헌 9인용 수 6

한 줄 요약

이 논문은 재학습이 필요 없이 사전 훈련된 변동형 오토인코더(VAEs)에서 효율적인 조건부 추론을 위한 크로스코딩(cross-coding)을 제안한다. 증거에 기반한 잠재 변수의 사후분포를 근사하기 위해 크로스코더 네트워크를 사용함으로써, 임의의 쿼리-증거 분해에 대해 빠른 샘플링이 가능해지며, 특히 고차원 설정에서 하이퍼볼릭 몬테카를로(Hamiltonian Monte Carlo, HMC)보다 정량적 및 정성적 평가에서 뛰어난 성능을 보인다.

ABSTRACT

Variational Autoencoders (VAEs) are a popular generative model, but one in which conditional inference can be challenging. If the decomposition into query and evidence variables is fixed, conditional VAEs provide an attractive solution. To support arbitrary queries, one is generally reduced to Markov Chain Monte Carlo sampling methods that can suffer from long mixing times. In this paper, we propose an idea we term cross-coding to approximate the distribution over the latent variables after conditioning on an evidence assignment to some subset of the variables. This allows generating query samples without retraining the full VAE. We experimentally evaluate three variations of cross-coding showing that (i) they can be quickly optimized for different decompositions of evidence and query and (ii) they quantitatively and qualitatively outperform Hamiltonian Monte Carlo.

연구 동기 및 목표

• 임의의 쿼리-증거 분해가 요구될 때 사전 훈련된 VAE에서 효율적인 조건부 추론을 해결하고자 한다.
• 각 새로운 분해에 대해 재학습이 필요한 조건부 VAE의 한계를 극복하고자 한다.
• 고차원 잠재 공간에서 오랜 혼합 시간을 겪는 HMC와 같은 MCMC 방법을 개선하고자 한다.
• 사전 훈련된 디코더를 재사용하고 비용이 많이 드는 재학습을 피하는 변동형 추론 프레임워크를 개발하고자 한다.
• 크로스코딩이 다양한 데이터셋과 쿼리 유형에서 빠르고 고품질의 샘플링을 가능하게 함을 입증하고자 한다.

제안 방법

• 증거 $\mathbf{x}$ 에 대해 조건부 잠재분포 $q_{\psi}(\mathbf{z}|\mathbf{x})$ 를 생성하기 위해 노이즈 $\bm{\epsilon}$ 를 매핑하는 크로스코더 네트워크 $\mathrm{XCoder}_{\psi}(\bm{\epsilon})$ 를 도입한다.
• 진짜 조건부 가능도 $p_{\theta}(\mathbf{y}|\mathbf{x})$ 에 대한 경계를 강화하기 위해 조건부 증거 하한(lower bound, C-ELBO)를 최적화한다.
• 스토캐스틱 샘플링 과정을 통한 효율적 백프로파게이션을 위해 재파arameterization 기울기 기법을 사용한다.
• 세 가지 변형을 비교하기 위해 가우시안 변동형 추론(GVI), 노멀라이징 플로우(NF), 완전 연결 네트워크(FCN)를 사용한다.
• 크로스코더에서 $M$개의 샘플을 추출하여 사전 훈련된 디코더 $p_{\theta}(\mathbf{t}|\mathbf{z})$ 를 활용해 조건부 분포 $p_{\theta}(\mathbf{y}|\mathbf{x})$ 에서 샘플을 생성한다.
• KL 발산에서 유리한 상쇄 효과 덕분에, 쿼리 분포의 오차는 잠재 사후분포의 오차에 의해 제어됨을 보장한다.

실험 결과

연구 질문

• RQ1 크로스코딩은 디코더 재학습 없이 사전 훈련된 VAE에서 빠르고 정확한 조건부 추론을 가능하게 할 수 있는가?
• RQ2 고차원 잠재 공간에서 크로스코딩은 샘플링 품질과 혼합 시간 측면에서 HMC보다 어떻게 비교되는가?
• RQ3 GVI, NF, FCN와 같은 다양한 크로스코더 아키텍처는 다양한 쿼리-증거 분해에서 유의미한 성능 차이를 보이는가?
• RQ4 C-ELBO는 VAE에서 조건부 샘플링 품질 평가에 신뢰할 수 있는 대체 지표인가?
• RQ5 크로스코딩은 잠재 차원이 다양할 수 있는 MNIST, 애니메이션, CelebA와 같은 다양한 데이터셋에서 성능을 유지할 수 있는가?

주요 결과

• 애니메이션 데이터셋에서 가우시안 변동형 추론(GVI) 크로스코더가 노멀라이징 플로우(NF)와 하이퍼볼릭 몬테카를로(HMC)보다 C-ELBO 및 쿼리 주변 가능도 측면에서 뛰어난 성능을 보였다.
• CelebA 데이터셋에서는 GVI가 NF와 유사하거나 略로 나은 성능을 보였으며, 양측 모두 HMC보다 정량적 및 정성적 지표에서 뚜렷이 뛰어났다.
• HMC는 고차원 설정(64 및 100개의 잠재 차원)에서 나쁜 혼합과 낮은 커버리지 문제를 겪어, 과도하게 집중되고 다양성이 떨어지는 샘플을 생성했다.
• 저차원 MNIST 실험에서는 GVI, NF, FCN 모두 잘 수행되었으며, GVI와 NF가 C-ELBO 및 가능도 지표에서 HMC를 능가했다.
• 크로스코더 프레임워크는 디코더 재학습이 필요 없이 임의의 쿼리-증거 분해에 대해 빠른 최적화를 가능하게 하였다.
• 정성적 결과에서는 GVI가 증거와 일치하는 다양한 고해상도 샘플을 생성한 반면, HMC와 NF는 종종 단일 모드로 붕괴하는 경향을 보였다.