[논문 리뷰] Diffusion Variational Autoencoders.

Henry Li, Ofir Lindenbaum외 2명|arXiv (Cornell University)|2019. 05. 29.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

이 논문은 확산 지도를 사용해 데이터의 위상 구조를 자동으로 추론하고 변분 오토에인코더(VAE)와 통합함으로써 사용자가 지정한 사전 분포가 필요 없도록 하는 확산 변분 오토에인코더(DVAEs)를 제안한다. 확산 지도의 渐近(manifold learning) 보장과 깊이 있는 생성 모델의 확장성 덕분에 DVAEs는 사후 분포 붕괴와 모드 붕괴를 피하며, 합성 및 실제 데이터셋에서 더 나은 샘플 품질과 위상 충실도를 달성한다.

ABSTRACT

Variational autoencoders (VAEs) and generative adversarial networks (GANs) enjoy an intuitive connection to manifold learning: in training the decoder/generator is optimized to approximate a homeomorphism between the data distribution and the sampling space. This is a construction that strives to define the data manifold. A major obstacle to VAEs and GANs, however, is choosing a suitable prior that matches the data topology. Well-known consequences of poorly picked priors are posterior and mode collapse. To our knowledge, no existing method sidesteps this user choice. Conversely, $ extit{diffusion maps}$ automatically infer the data topology and enjoy a rigorous connection to manifold learning, but do not scale easily or provide the inverse homeomorphism (i.e. decoder/generator). We propose a method that combines these approaches into a generative model that inherits the asymptotic guarantees of $ extit{diffusion maps}$ while preserving the scalability of deep models. We prove approximation theoretic results for the dimension dependence of our proposed method. Finally, we demonstrate the effectiveness of our method with various real and synthetic datasets.

연구 동기 및 목표

• VAE와 GAN에서의 사전 분포 선택 문제를 해결함으로써 사후 붕괴와 모드 붕괴를 유발하는 주요 과제를 해결한다.
• 확산 지도의 엄밀한 다양체 학습 기반을 활용해 사용자가 정의한 사전 분포 없이도 데이터 위상 구조를 자동으로 추론한다.
• 확산 지도의 위상 일관성과 깊이 있는 VAE의 확장성 및 생성 능력을 조합한다.
• 제안된 방법의 차원 의존성에 대한 이론적 근사 경계를 수립한다.
• 다양한 실제 및 합성 데이터셋에서 더 나은 생성 성능과 위상 충실도를 입증한다.

제안 방법

• 사용자가 지정한 사전 분포가 필요 없이 내재된 데이터 다양체 구조를 추론하기 위해 확산 지도를 VAE 프레임워크에 통합한다.
• 확산 지도 임bedding을 진정한 데이터 위상 구조를 반영하는 구조화된 잠재 공간으로 사용한다.
• 확산 지도의 전이 행렬에 의해 사전이 암묵적으로 정의되는 변분 오토에인코더를 구축함으로써 명시적 사전 설계를 회피한다.
• 심층 신경망을 디코더로 사용하여 확산 임bedding된 잠재 공간에서 데이터 공간으로 매핑한다.
• 데이터 다양체의 내재 차원에 따라 의존하는 일반화 오차에 대한 근사 이론적 경계를 유도한다.
• 확산 지도 기반 사전을 사용해 VAE 목표를 최적화함으로써 안정적이고 의미 있는 잠재 표현을 갖는 엔드 투 엔드 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 확산 지도는 VAE 프레임워크에 효과적으로 통합되어 사용자가 지정한 사전 분포를 대체할 수 있는가?
• RQ2 결과적으로 얻어진 모델은 기존 VAE와 GAN에서 관찰되는 모드 붕괴와 사후 붕괴를 피하는가?
• RQ3 기존 VAE와 비교해 데이터 다양체의 위상 구조를 어느 정도 유지하는가?
• RQ4 제안된 방법의 근사 오차는 데이터의 내재 차원에 따라 어떻게 변화하는가?
• RQ5 다양한 합성 및 실제 데이터셋에서 샘플 품질과 위상 충실도를 유지하면서 일반화 성능을 확보할 수 있는가?

주요 결과

• 제안된 DVAE는 데이터 구조에 기반해 암묵적으로 잠재 사전을 정의함으로써 사용자가 지정한 사전 분포가 필요 없어진다.
• 합성 및 실제 데이터셋 모두에서 표준 VAE에 비해 더 나은 샘플 품질과 감소된 모드 붕괴를 보여준다.
• 이론적 분석 결과, 방법의 근사 오차는 데이터 다양체의 내재 차원에 대해 유리하게 스케일링됨을 확인한다.
• 실증 결과는 DVAE가 학습한 잠재 공간이 진정한 데이터 위상 구조를 유지함을 입증하며, 생성된 샘플에서 충실한 다양체 구조가 나타남을 보여준다.
• 전통적인 확산 지도 기반 방법과 달리 깊이 있는 신경망의 확장성과 유사한 성능을 달성하면서도 경쟁적인 생성 성능을 확보한다.