[논문 리뷰] Geometry-Aware Hamiltonian Variational Auto-Encoder

Clément Chadebec, Clément Mantoux외 1명|arXiv (Cornell University)|2020. 10. 22.

Generative Adversarial Networks and Image Synthesis참고 문헌 36인용 수 6

한 줄 요약

이 논문은 잠재 공간을 역동적으로 학습된 계량을 가진 리만 다양체로 모델링하는 기하학적 인식 힘학적 변분 autoencoder(RHVAE)를 제안한다. 이는 소규모 데이터셋에서 생성 성능과 의미 있는 보간을 향상시킨다. 힘학적 역학과 계량 인식 잠재 공간 기하학을 통합함으로써, 모델은 더 선명한 생성, 더 부드러운 지측선 보간, 그리고 표준 VAE보다 향상된 클러스터링 성능을 달성한다.

ABSTRACT

Variational auto-encoders (VAEs) have proven to be a well suited tool for performing dimensionality reduction by extracting latent variables lying in a potentially much smaller dimensional space than the data. Their ability to capture meaningful information from the data can be easily apprehended when considering their capability to generate new realistic samples or perform potentially meaningful interpolations in a much smaller space. However, such generative models may perform poorly when trained on small data sets which are abundant in many real-life fields such as medicine. This may, among others, come from the lack of structure of the latent space, the geometry of which is often under-considered. We thus propose in this paper to see the latent space as a Riemannian manifold endowed with a parametrized metric learned at the same time as the encoder and decoder networks. This metric is then used in what we called the Riemannian Hamiltonian VAE which extends the Hamiltonian VAE introduced by arXiv:1805.11328 to better exploit the underlying geometry of the latent space. We argue that such latent space modelling provides useful information about its underlying structure leading to far more meaningful interpolations, more realistic data-generation and more reliable clustering.

연구 동기 및 목표

• 비정형적인 잠재 공간으로 인해 표준 VAE가 소규모 데이터셋에서 성능이 열 劣하는 문제를 해결한다.
• 잠재 공간 기하학을 명시적으로 모델링하여 데이터 생성 및 보간 품질을 향상시킨다.
• 잠재 공간에서 학습된 리만 계량을 통해 클러스터링 신뢰성과 샘플의 현실성 향상.
• 후행 근사화를 향상시키기 위해 힘학적 VAE 프레임워크를 계량 학습을 통합하도록 확장한다.
• 제한된 샘플을 가진 개인정보 민감도가 높은 분야(예: 의료 영상)에서 신뢰할 수 있는 합성 데이터 생성을 가능하게 한다.

제안 방법

• 에ncoder 및 디코더 네트워크와 함께 공동으로 학습되는 매개변수화된 계량을 가진 리만 다양체로 잠재 공간을 모델링한다.
• 후행 근사화 및 샘플링 효율성을 향상시키기 위해 VAE 프레임워크에 힘학적 몬테카를로 역학을 통합한다.
• 복잡한 후행 분포를 모델링하기 위해 정규화 플로우를 사용하여 잠재 공간의 표현력을 향상시킨다.
• 기하학적 인식 편향을 가능하게 하기 위해 리만 계량 텐서를 매개변수화하는 신경망을 통해 계량을 학습한다.
• 스토하스틱 그래디언트 하강법를 사용하여 기하학적 인식 사전 및 가능도를 활용한 증거 하한(lower bound, ELBO)를 최적화한다.
• 학습된 리만 다양체 상에서 지측선 보간을 적용하여 데이터 포인트 간에 더 부드럽고 의미 있는 전환을 생성한다.

실험 결과

연구 질문

• RQ1 잠재 공간에서 리만 계량을 학습함으로써 소규모 데이터셋에서 생성 성능을 향상시킬 수 있는가?
• RQ2 계량 인식 잠재 공간 모델링은 데이터 포인트 간에 더 의미 있고 부드러운 보간을 이끌어내는가?
• RQ3 표준 VAE 및 힘학적 VAE와 비교해 본다면, 제안된 RHVAE는 샘플 품질 및 클러스터링 성능 측면에서 어떻게 다른가?
• RQ4 실제 소규모 데이터셋(예: MNIST, FashionMNIST, OASIS)에서 기하학적 인식 모델링이 데이터 생성 및 재구성에 얼마나 기여하는가?
• RQ5 학습된 리만 구조가 데이터의 내재된 다양체 기하학을 유지함으로써 클러스터링을 향상시킬 수 있는가?

주요 결과

• 소규모 데이터셋에서 훈련 샘플 수가 제한된 경우, 표준 VAE보다 더 선명하고 현실적인 생성 샘플을 생성한다.
• 학습된 리만 잠재 공간에서의 지측선 보간은 애핀 보간보다 더 부드럽고 일관성 있는 전환을 제공한다.
• 160개 샘플이 있는 FashionMNIST 데이터셋에서, RHVAE는 표준 VAE에서 관찰되는 흐림 현상 없이 눈에 띄게 향상된 시각적 품질의 보간 샘플을 달성했다.
• 애핀 및 지측선 계량 모두에서 모델은 개선된 클러스터링 성능를 보였으며, 지측선 클러스터링은 더 높은 일관성과 구조 유지 성능를 보였다.
• Olivetti 얼굴 데이터셋에서, 지측선 보간은 애핀 대비 일관된 얼굴 방향 유지 및 잡음 감소를 보였다.
• 학습된 리만 계량은 부피 요소 시각화와 보간 품질을 통해 데이터 다양체의 내재 기하학을 효과적으로 포착했다.