[논문 리뷰] Latent Space Non-Linear Statistics

Line Kühnel, Tom Fletcher외 2명|arXiv (Cornell University)|2018. 05. 19.

Generative Adversarial Networks and Image Synthesis참고 문헌 15인용 수 21

한 줄 요약

이 논문은 VAE 및 GAN과 같은 딥 생성 모델이 학습한 잠재 공간에서 비선형 통계 분석을 수행하기 위한 프레임워크를 소개한다. 리만 기하학을 활용하여 기하학적 주성분 분석과 브라운 운동 다리 시뮬레이션을 통한 최대우도 추정을 가능하게 하며, 리만 계량텐서를 근사하는 신경망을 통해 계산을 가속화하여 고차원 데이터에 대해 효율성을 크게 향상시킨다.

ABSTRACT

Given data, deep generative models, such as variational autoencoders (VAE) and generative adversarial networks (GAN), train a lower dimensional latent representation of the data space. The linear Euclidean geometry of data space pulls back to a nonlinear Riemannian geometry on the latent space. The latent space thus provides a low-dimensional nonlinear representation of data and classical linear statistical techniques are no longer applicable. In this paper we show how statistics of data in their latent space representation can be performed using techniques from the field of nonlinear manifold statistics. Nonlinear manifold statistics provide generalizations of Euclidean statistical notions including means, principal component analysis, and maximum likelihood fits of parametric probability distributions. We develop new techniques for maximum likelihood inference in latent space, and adress the computational complexity of using geometric algorithms with high-dimensional data by training a separate neural network to approximate the Riemannian metric and cometric tensor capturing the shape of the learned data manifold.

연구 동기 및 목표

• 딥 생성 모델의 저차원 잠재공간에서 비선형 다양체 통계를 사용한 통계 분석을 가능하게 하기 위해.
• 고차원 잠재공간에서 리만 계량과 곡률 텐서를 평가하는 계산 부담을 완화하기 위해.
• 확산 과정을 이용한 학습된 다양체 위에서 평균의 최대우도 추정을 위한 미분 가능하고 종단 간(end-to-end) 프레임워크를 개발하기 위해.
• 실제 데이터(MNIST 등)를 활용한 비선형 통계의 유용성을 입증하기 위해, 2D VAE 잠재공간을 기반으로 한다.
• 보조 신경망을 학습하여 리만 계량과 그 역행렬(cometric) 텐서를 예측함으로써 기하 알고리즘의 계산 속도를 향상시키기 위해.

제안 방법

• 생성 모델의 인코더 매핑을 통해 데이터 공간의 유클리드 계량을 당겨와(_pullback_) 잠재공간을 리만 다양체로 간주한다.
• 주성분 기하학 분석(PGA)을 적용하여 잠재공간 내 주요 변동 방식을 모델링하며, 비선형 다각형으로 일반화된 주성분 분석(PCA)을 구현한다.
• 조건부 확산 과정(브라운 운동 다리)을 시뮬레이션하여 잠재다양체 위에서 평균의 최대우도 추정을 수행한다.
• 별도의 신경망을 학습하여 리만 계량 텐서와 그 역행렬(역계량)을 근사함으로써 기하학적 양의 신속한 평가를 가능하게 한다.
• Theano Geometry를 통한 자동 미분을 활용하여 미분 기하학 연산을 효율적으로 표현하고 계산한다.
• 통계 추론을 원래 데이터 공간의 고차원 계산을 피하기 위해 잠재공간에서 수행한다.

실험 결과

연구 질문

• RQ1 딥 생성 모델이 학습한 비선형 잠재다양체에 대해 기존의 통계 기법(예: PCA)을 어떻게 일반화할 수 있는가?
• RQ2 브라운 운동 다리와 같은 확률적 과정을 사용하여 리만 잠재다양체 위에서 평균의 최대우도 추정을 효과적으로 수행할 수 있는가?
• RQ3 고차원 잠재공간에서 리만 기하학적 양(예: 크리스톼프 기호, 곡률)을 평가하는 데 드는 계산 비용은 얼마이며, 이를 어떻게 줄일 수 있는가?
• RQ4 신경망을 사용하여 잠재공간의 리만 계량을 근사함으로써 기하학적 및 통계 알고리즘의 계산 속도를 얼마나 향상시킬 수 있는가?
• RQ5 잠재공간에서의 비선형 통계 결과가 선형 기법 대비 해석 가능성과 데이터 표현 품질 측면에서 얼마나 우수한가?

주요 결과

• 제안된 방법은 MNIST에 대해 훈련된 VAE의 2D 잠재공간에서 기하학적 주성분 분석을 성공적으로 수행하여, 비선형 주성분을 따라 숫자 형태의 의미 있는 변형을 드러냈다.
• 브라운 운동 다리 시뮬레이션을 통한 최대우도 평균 추정 결과는 시각적으로 일관된 숫자(예: 9)로 수렴하며, 프레셰 평균(Fréchet mean)과 일치함을 보여 추론 절차의 타당성을 입증했다.
• 리만 계량의 신경망 근사로 인해 계산 비용이 수 개의 지수 차수 감소하여 고차원 잠재공간에서 기하학적 연산의 신속한 평가가 가능해졌다.
• 잠재공간 내 스칼라 곡률 및 리치 곡률 맵는 다양체 전반에 걸쳐 곡률 변화를 보이며 복잡한 내재 기하학을 반영함을 드러냈다.
• 잠재공간 내 평행이동은 리만 계량에 따라 벡터 길이를 유지함을 확인하여, 모델이 정확한 기하학적 구조를 포착하고 있음을 확인했다.
• MLE 최적화 중 likelihood 값이 단조적으로 수렴함을 확인하여, 확산 기반 평균 추정의 안정적이고 신뢰할 수 있는 최적화가 이루어짐을 입증했다.