[논문 리뷰] Learning Hierarchical Priors in VAEs

Alexej Klushyn, Nutan Chen외 3명|arXiv (Cornell University)|2019. 05. 13.

Generative Adversarial Networks and Image Synthesis참고 문헌 30인용 수 6

한 줄 요약

이 논문은 표준 정규 사전확률이 초래하는 과도한 정규화 문제를 해결하기 위해 변분 오토에인코더(VAEs)에 계층적 사전확률을 제안한다. 제약 조건이 붙은 최적화 프레임워크와 중요도 가중 바운드를 사용하여 의미 있는, 데이터 적응형 사전확률을 학습한다. 이 방법은 더 스무스하고 해석 가능한 잠재 표현을 가능하게 하며, MNIST, 패션-MNIST, OMNIGLOT에서 최신 기준 성능을 달성하면서도 데이터 다양체의 위상 구조를 유지한다.

ABSTRACT

We propose to learn a hierarchical prior in the context of variational autoencoders to avoid the over-regularisation resulting from a standard normal prior distribution. To incentivise an informative latent representation of the data, we formulate the learning problem as a constrained optimisation problem by extending the Taming VAEs framework to two-level hierarchical models. We introduce a graph-based interpolation method, which shows that the topology of the learned latent representation corresponds to the topology of the data manifold---and present several examples, where desired properties of latent representation such as smoothness and simple explanatory factors are learned by the prior.

연구 동기 및 목표

• 표준 정규 사전확률이 의미 있는 데이터 구조를 가리킬 수 있는 과도한 정규화 문제를 해결하기 위해.
• 데이터 다양체의 내재적 위상 구조를 반영하는 계층적 사전확률을 학습하여 설명 가능성과 표현 품질을 향상시키기 위해.
• Taming VAEs에서 제안한 제약 조건 최적화 프레임워크를 두 수준의 계층적 모델과 연속 혼합 사전확률로 확장하기 위해.
• 후행 분포 붕괴를 방지하고 잠재 표현의 분리성 향상을 위한 최적화 알고리즘을 개발하기 위해.
• 데이터 다양체의 위상 구조를 유지하는 그래프 기반 보간법을 사용하여 학습된 잠재 공간의 품질을 검증하기 위해.

제안 방법

• 표준 정규 사전확률을 계층적 사전확률로 대체하여 VAE 목표를 라그랑주 제약 최적화 문제로 확장한다. 계층적 사전확률은 제1단계 잠재변수와 제2단계 연속 혼합 사전확률로 구성된다.
• 이해할 수 없는 주변 가능도를 근사하기 위해 중요도 가중 바운드를 사용하여 미분 가능한 학습을 가능하게 한다.
• GECO에 영감을 받은 새로운 최적화 알고리즘을 도입하였으며, 후행 분포 붕괴를 방지하고 인코딩 품질을 향상시킨다.
• 잠재 공간 내 최근접 이웃을 기반으로 한 그래프 기반 보간법을 적용하여 데이터 다양체의 위상 구조 유지 여부를 평가한다.
• 재구성 가중 최적화(REWO)와 GECO 기반 학습 스케줄을 도입하여 재구성 항과 사전확률 항의 균형을 맞춘다.
• 두 단계 추론 모델을 사용하며, 첫 번째 계층은 데이터를 인코딩하고 두 번째 계층은 계층적 사전확률 분포를 모델링한다.

실험 결과

연구 질문

• RQ1 VAE에 계층적 사전확률을 도입하면 표준 정규 사전확률에 비해 더 정보가 풍부하고 과도하게 정규화되지 않은 잠재 표현을 얻을 수 있는가?
• RQ2 제안된 제약 조건 최적화 프레임워크와 계층적 사전확률이 잠재 공간에서 데이터 다양체의 위상 구조를 유지하는가?
• RQ3 로그 가능도와 보간 품질 측면에서 VampPrior와 IWAE와 같은 최신 기준 방법에 비해 계층적 사전확률의 성능은 어떠한가?
• RQ4 간단한 선형 회귀를 통해 펜듈럼의 각도와 같은 분리된, 해석 가능한 변동 요인을 계층적 사전확률이 학습할 수 있는가?
• RQ5 그래프 기반 보간법은 기존 기준 대비 더 스무스하고 현실적인 잠재 공간의 전이를 드러내는가?

주요 결과

• VHP + REWO 방법은 동적 MNIST에서 테스트 로그 가능도 78.88을 달성하여 VampPrior(80.42)를 능가하고 최신 기준 기준선과 동등하거나 뛰어나다.
• 패션-MNIST에서는 5,000개의 중요도 샘플을 사용하여 음의 로그 가능도 225.37을 기록했으며, VampPrior(232.78)와 IWAE(226.83)와 비교해 유사하거나 뛰어나다.
• 인간 운동 데이터에서는 VampPrior와 IWAE보다 훨씬 스무스한 보간을 가능하게 하며, 이는 두 번째 차수 유한 차분의 루트 평균 제곱(RMS)이 낮아서 확인된다.
• 3D 얼굴과 의자 데이터셋에서 VHP + REWO는 IWAE보다 더 흐릿하지 않고 더 현실적인 보간 결과를 내보내는 것으로 질적 비교에서 확인되었다.
• 계층적 사전확률은 펜듈럼의 각도를 분리된 요소로 성공적으로 학습하여 OLS 회귀를 통해 정확한 예측이 가능함을 보여주며, 이는 설명 가능성의 증거가 된다.
• 그래프 기반 보간법은 잠재 공간의 위상이 데이터 다양체와 일치함을 확인하여 학습된 표현의 구조적 충실도를 검증한다.