[논문 리뷰] The Riemannian Geometry of Deep Generative Models

Hang Shao, Abhishek Kumar외 1명|arXiv (Cornell University)|2017. 11. 21.

Generative Adversarial Networks and Image Synthesis참고 문헌 19인용 수 16

한 줄 요약

이 논문은 딥 생성 모델, 특히 VAE에서 학습된 비선형 다양체를 분석하기 위해 리만 기하학 도구인 지오데식 계산과 평행 이송을 도입한다. 이들 다양체는 놀랄 만큼 낮은 곡률을 보이며, 이는 잠재 공간에서의 선형 보간이 지오데식을 잘 근사하고 시각적으로 신뢰할 수 있는 이미지 보간을 가능하게 한다고 설명한다.

ABSTRACT

Deep generative models learn a mapping from a low dimensional latent space to a high-dimensional data space. Under certain regularity conditions, these models parameterize nonlinear manifolds in the data space. In this paper, we investigate the Riemannian geometry of these generated manifolds. First, we develop efficient algorithms for computing geodesic curves, which provide an intrinsic notion of distance between points on the manifold. Second, we develop an algorithm for parallel translation of a tangent vector along a path on the manifold. We show how parallel translation can be used to generate analogies, i.e., to transport a change in one data point into a semantically similar change of another data point. Our experiments on real image data show that the manifolds learned by deep generative models, while nonlinear, are surprisingly close to zero curvature. The practical implication is that linear paths in the latent space closely approximate geodesics on the generated manifold. However, further investigation into this phenomenon is warranted, to identify if there are other architectures or datasets where curvature plays a more prominent role. We believe that exploring the Riemannian geometry of deep generative models, using the tools developed in this paper, will be an important step in understanding the high-dimensional, nonlinear spaces these models learn.

연구 동기 및 목표

• 딥 생성 모델이 생성하는 다양체의 리만 기하학, 특히 곡률과 내재적 거리 척도를 연구하는 것.
• 이러한 다양체에서 지오데식 경로와 평행 이송을 효율적으로 계산하는 알고리즘을 개발하여 내재 기하학적 분석을 가능하게 하는 것.
• 잠재 공간에서의 선형 경로가 지오데식을 얼마나 잘 근사하는지 평가하고, 생성 모델의 해석 가능성과 보간 품질에 미치는 영향을 이해하는 것.
• 실제 이미지 데이터셋(예: CelebA와 SVHN)에서 유사성과 거리 보존 분석을 통해 이 도구들의 유용성을 입증하는 것.
• 생성된 다양체의 곡률이 아키텍처나 데이터셋에 따라 달라지는지 평가하고, 이가 최종 생성 성능에 영향을 주는지 분석하는 것.

제안 방법

• 이차 도함수나 행렬 역행렬 계산이 필요 없는 수치적 알고리즘을 제안하여 생성된 다양체 위의 이산 지오데식 곡선을 계산한다.
• 접속 기반 수식을 사용하여 지오데식 경로를 따라 접선 벡터의 평행 이송을 계산하는 방법을 개발하며, 접선 성질을 유지한다.
• 지오데식 셋업 방법을 사용하여 초기 위치와 속도 벡터에서 지오데식을 생성함으로써 제어 가능한 보간 및 유사성 작업을 가능하게 한다.
• 지오데식 거리 행렬과 선형 거리 행렬을 사용한 다차원 척도법(MDS)을 통해 거리 행렬의 고유값 분석을 통해 곡률을 평가한다.
• 지오데식 유사성 계산을 위해 원천-대상 변화의 접선 벡터를 제3의 점으로 평행 이송한 후, 동일한 길이의 지오데식을 셋업한다.
• 지오데식과 선형 거리 행렬 간의 R² 점수와 이미지 보간 및 유사성의 시각적 검토와 같은 정량적 지표를 사용하여 결과를 검증한다.

실험 결과

연구 질문

• RQ1 VAE가 생성한 다양체에서 지오데식 경로와 잠재 공간의 선형 경로는 시각적 타당성과 내재적 거리 측도 측면에서 어떻게 비교되는가?
• RQ2 생성된 다양체의 리만 곡률이 데이터 공간에서의 보간 및 유사성 품질에 어느 정도 영향을 미치는가?
• RQ3 다양체의 내재 기하학에서 유도된 지오데식 거리 척도는 효율적으로 계산할 수 있으며, 생성 모델 분석 향상에 활용될 수 있는가?
• RQ4 MDS 거리 행렬의 고유값은 생성된 다양체의 곡률를 어떻게 반영하며, 이는 다양체가 유클리드 공간에 등거리로 통합될 수 있는지에 대한 함의는 무엇인가?
• RQ5 접선 벡터의 평행 이송은 데이터 포인트 간 의미 있는 유사성을 어떻게 가능하게 하는가? 이는 잠재 공간의 선형 유사성과 비교해보면 어떠한가?

주요 결과

• CelebA 및 SVHN 데이터셋의 지오데식 거리 행렬은 낮은 음의 고유값을 보이며, 이는 생성된 다양체가 매우 낮은 곡률을 지닌다는 것을 시사한다. 곡률는 거의 0에 가깝다.
• 지오데식 거리를 사용한 MDS 임베딩은 다양체가 유클리드 공간에 거의 등거리로 통합 가능함을 드러내며, 곡률로 인한 미세한 편차 외에는 거의 영향을 받지 않는다.
• 지오데식 거리 행렬과 선형 거리 행렬 간의 R² 점수는 높았는데, CelebA는 0.778, SVHN는 0.902로 나타나, 잠재 공간의 선형 경로와 내재 지오데식 간의 강한 일치를 보였다.
• 잠재 공간에서의 선형 유사성은 평행 이송을 사용한 지오데식 유사성과 시각적으로 유사한 결과를 도출했으며, 이는 잠재 공간의 선형 경로가 내재 기하학적 변화의 효과적인 대체 측도임을 시사한다.
• 낮은 곡률에도 불구하고 잠재 공간과 지오데식 거리 간의 미세한 차이가 존재하여, 곡률가 일부 생성 또는 후속 작업에서 미묘한 역할을 할 수 있음을 시사한다.
• 결과적으로, VAE에서 잠재 공간 보간의 성공은 생성된 다양체의 거의 유클리드 기하학적 성질에 부분적으로 기인할 수 있다.