[논문 리뷰] Variational Autoencoder with Learned Latent Structure

Marissa Connor, Gregory Canal외 1명|arXiv (Cornell University)|2020. 06. 18.

Generative Adversarial Networks and Image Synthesis참고 문헌 27인용 수 4

한 줄 요약

이 논문은 전통적인 VAE에서 고정된 사전 분포를 대체하기 위해 운반 연산자를 사용하여 데이터 기반 잠재 다양체 구조를 학습하는 변동형 오토인코더인 VAELLS를 제안한다. 비선형 데이터 다양체를 학습 가능한 동역학 행렬과 앵커 기반 사전 분포로 모델링함으로써, VAELLS는 더 정확한 생성, 의미 있는 보간 경로, 클래스별 변환을 가능하게 하며, MNIST 및 회전된 MNIST 벤치마크에서 표준 VAE를 능가한다.

ABSTRACT

The manifold hypothesis states that high-dimensional data can be modeled as lying on or near a low-dimensional, nonlinear manifold. Variational Autoencoders (VAEs) approximate this manifold by learning mappings from low-dimensional latent vectors to high-dimensional data while encouraging a global structure in the latent space through the use of a specified prior distribution. When this prior does not match the structure of the true data manifold, it can lead to a less accurate model of the data. To resolve this mismatch, we introduce the Variational Autoencoder with Learned Latent Structure (VAELLS) which incorporates a learnable manifold model into the latent space of a VAE. This enables us to learn the nonlinear manifold structure from the data and use that structure to define a prior in the latent space. The integration of a latent manifold model not only ensures that our prior is well-matched to the data, but also allows us to define generative transformation paths in the latent space and describe class manifolds with transformations stemming from examples of each class. We validate our model on examples with known latent structure and also demonstrate its capabilities on a real-world dataset.

연구 동기 및 목표

• 표준 VAE에서 고정된 사전 분포와 복잡하고 비선형적인 데이터 다양체 사이의 불일치 문제를 해결하기 위해.
• 자연스러운 데이터 변형을 반영하는 의미 있는 비선형 전환 경로를 잠재 공간에서 가능하게 하기 위해.
• 클래스 예시에서 유도된 변환을 사용하여 클래스별 다양체를 모델링하기 위해.
• 운반 연산자를 통한 데이터 적응형 사전 분포 학습을 통해 생성 품질 향상과 디센트레임 향상을 위해.
• 잠재 공간에서 해석 가능하고 신원 유지 전환을 가능하게 하는 프레임워크를 제공하기 위해.

제안 방법

• 학습 가능한 다양체 모델을 운반 연산자로 도입하며, 동역학은 학습된 기저 행렬 $\Psi_m$ 의 가중합으로 정의된다.
• 잠재 다양체 상의 매끄러운 경로를 정의하기 위해 선형 동역학계 $\dot{z} = Az$ 를 사용하며, 해는 $z_t = \mathrm{expm}(At)z_0$ 로 주어진다.
• 생성 모델을 정의하여 $z_1 = \mathrm{expm}(A)z_0 + n$ 를 허용함으로써, 학습된 $A$ 행렬을 통해 보간 및 외삽이 가능하다.
• 각 클래스별로 앵커 포인트를 설정하여 局소화된 사전 분포를 정의하며, 사전 분포는 가장 가까운 앵커 포인트에 기반한다.
• 에인코더와 디코더와 함께 $\Psi_m$ 행렬과 계수 $c_m$ 을 동시에 학습함으로써 운반 연산자 모델을 VAE 프레임워크에 통합한다.
• 네트워크, 앵커, $\Psi$ 행렬에 대해 별도의 학습률을 사용하는 다단계 최적화를 수행하며, 웜업 및 계수 추론 재시작을 포함한다.

실험 결과

연구 질문

• RQ1 학습 가능한 잠재 다양체 모델이 고정된 사전 분포를 가진 표준 VAE보다 생성 성능을 향상시킬 수 있는가?
• RQ2 운반 연산자가 잠재 공간에서 더 현실적인 보간 및 외삽 경로를 가능하게 할 수 있는가?
• RQ3 클래스별 변환은 예시 데이터로부터 효과적으로 모델링되고 학습될 수 있는가?
• RQ4 앵커 기반 운반 연산자를 통한 데이터 적응형 사전 분포 학습이 디센트레임과 샘플 품질 향상에 기여하는가?
• RQ5 회전된 MNIST와 같이 알려진 기하학적 구조를 가진 데이터셋에서 VAELLS는 어떻게 성능을 발휘하는가?

주요 결과

• VAELLS는 표준 VAE보다 회전된 MNIST 및 자연 MNIST 데이터셋에서 더 높은 샘플 품질과 재구성 정확도를 달성한다.
• VAELLS의 잠재 공간 샘플링은 회전 및 스타일 변화와 같은 현실적인 이미지 변형을 생성하며, 복원된 출력에서 이를 확인할 수 있다.
• MNIST에서 모델은 해석 가능한 숫자 변환, 예를 들어 선 두께 증가 또는 곡선 변화와 관련된 여덟 가지 구분 가능한 운반 연산자를 학습한다.
• 양수 또는 음수 계수를 가진 학습된 운반 연산자를 적용함으로써 의미 있는 외삽이 가능하며, 그 결과는 그림 17 및 18에 시각화되어 있다.
• 잠재 공간은 더 나은 클래스 분리도와 신원 유지 경로를 보이며, 보간 중 의도하지 않은 클래스 전환을 줄인다.
• 학습 동안 앵커 포인트가 안정적으로 유지되며, 국소화된 사전 분포 모델의 강건성을 나타낸다.