[논문 리뷰] Probabilistic Autoencoder

Vanessa Böhm, Uroš Seljak|arXiv (Cornell University)|2020. 06. 09.

Generative Adversarial Networks and Image Synthesis참고 문헌 42인용 수 9

한 줄 요약

확률적 오토에코더(Probabilistic Autoencoder, PAE)는 먼저 재구성 오차를 최소화하는 표준 오토에코더를 훈련시킨 후, 학습된 잠복 공간에 정규화 흐름(normalizing flow)을 적용하여 잠복 변수의 확률 분포를 모델링하는 이단계 생성 모델을 제안한다. PAE는 변분 추론이나 하이퍼파rameter 튜닝을 필요로 하지 않으면서도 VAE보다 빠른 훈련 속도, 낮은 재구성 오차, 경쟁 가능한 샘플 품질을 달성한다. 또한 잠복 공간의 밀도 추정을 통해 효과적인 이상치 탐지가 가능하다.

ABSTRACT

Principal Component Analysis (PCA) minimizes the reconstruction error given a class of linear models of fixed component dimensionality. Probabilistic PCA adds a probabilistic structure by learning the probability distribution of the PCA latent space weights, thus creating a generative model. Autoencoders (AE) minimize the reconstruction error in a class of nonlinear models of fixed latent space dimensionality and outperform PCA at fixed dimensionality. Here, we introduce the Probabilistic Autoencoder (PAE) that learns the probability distribution of the AE latent space weights using a normalizing flow (NF). The PAE is fast and easy to train and achieves small reconstruction errors, high sample quality, and good performance in downstream tasks. We compare the PAE to Variational AE (VAE), showing that the PAE trains faster, reaches a lower reconstruction error, and produces good sample quality without requiring special tuning parameters or training procedures. We further demonstrate that the PAE is a powerful model for performing the downstream tasks of probabilistic image reconstruction in the context of Bayesian inference of inverse problems for inpainting and denoising applications. Finally, we identify latent space density from NF as a promising outlier detection metric.

연구 동기 및 목표

• 복잡한 하이퍼파rameter 튜닝과 훈련 불안정성 문제를 피하는 단순하고 안정적이며 훈련이 쉬운 생성 모델을 개발하는 것.
• 정규화 흐름을 사용해 오토에코더의 잠복 공간 진짜 확률 분포를 학습함으로써 재구성 품질과 샘플 생성 품질을 향상시키는 것.
• 변분 추론에 의존하지 않고도 확률적 이미지 복원, 인painting, 이상 탐지와 같은 강력한 후행 응용을 가능하게 하는 것.
• 잠복 공간에서 정규화 흐름 기반의 밀도 추정을 활용해 새로운 이상치 탐지 지표를 제안하며, 기존 VAE의 ELBO 기반 방법보다 뛰어난 성능을 보인다.

제안 방법

• 재구성 오차를 최소화하도록 표준 오토에코더를 훈련시어 저차원 잠복 표현을 최적화한다.
• 훈련된 인코더의 잠복 공간에 정규화 흐름을 적용하여 잠복 변수의 전체 확률 분포를 학습한다.
• 정규화 흐름을 사용해 간단한 기저 분포를 역행 가능하고 미분 가능한 변환을 통해 샘플을 생성한다.
• 정규화 흐름의 로그우도(log-likelihood)를 활용해 확률적 추론을 수행하며, 재구성 불확실성과 밀도 추정을 포함한다.
• ELBO를 왜곡, 비용, 엔트로피, 교차 엔트로피 항으로 분해하여 이상치 탐지 성능을 분석하고 비교한다.
• 정규화 흐름을 통한 잠복 공간 밀도를 새로운 효과적인 OoD(Out-of-Distribution) 탐지 지표로 활용한다.

실험 결과

연구 질문

• RQ1 먼저 오토에코더를 재구성 목적으로 훈련한 후, 그 잠복 공간의 분포를 정규화 흐름으로 학습하는 이단계 접근 방식이 종단간 VAE보다 더 나은 성능을 낼 수 있는가?
• RQ2 ELBO 하이퍼파rameter 튜닝 없이도 PAE가 VAE보다 낮은 재구성 오차와 더 빠른 훈련 속도를 달성할 수 있는가?
• RQ3 잠복 공간에서 정규화 흐름 기반의 밀도가 VAE의 ELBO보다 이상 탐지에 더 뛰어난 지표가 될 수 있는가?
• RQ4 PAE는 확률적 이미지 복원 및 인painting과 같은 후행 작업에서 VAE보다 얼마나 잘 성능을 내는가?
• RQ5 표현력이 뛰어난 정규화 흐름을 사용할 경우, 특히 과적합과 기억 현상에 대해 PAE 프레임워크가 얼마나 강인한가?

주요 결과

• PAE는 모든 평가된 데이터셋에서 VAE보다 훨씬 더 빠른 훈련 속도를 기록하고, 낮은 재구성 오차를 달성한다.
• PAE는 특수한 훈련 절차나 하이퍼파rameter 안내를 요구하지 않으며, VAE 수준의 고품질 샘플을 생성한다.
• 정규화 흐름을 통한 잠복 공간 밀도 추정이 이상 탐지에서 ELBO를 능가하며, MNIST에서는 AUROC 0.9970, Omniglot에서는 0.9736을 기록한다.
• ELBO의 교차 엔트로피 항은 잠복 밀도와 상관관계가 있으며, 이는 신뢰할 수 있는 OoD 지표로 기능한다. flow-VAE의 경우 MNIST에서 AUROC 최대 0.9963을 기록한다.
• PAE 프레임워크는 역문제에 대한 베이지안 추론을 효과적으로 가능하게 하며, 확률적 이미지 복원 및 인painting에서 뛰어난 성능을 보인다.
• 잠복 공간에서 정규화 흐름 기반의 밀도 추정은 일반화 능력이 뛰어나고 강인한 이상 탐지 지표로, NF 사전분포를 가진 VAE에 적용 가능하다.