[논문 리뷰] Uniform Interpolation Constrained Geodesic Learning on Data Manifold

Cong Geng, Jia Wang외 4명|arXiv (Cornell University)|2020. 02. 12.

Generative Adversarial Networks and Image Synthesis참고 문헌 22인용 수 4

한 줄 요약

이 논문은 데이터 다양체 위에서 일정한 속도를 유지하고 지오데식 제약 조건을 최소화함으로써 균일하고 고품질의 보간을 생성하는 지오데식 학습 방법을 제안한다. 기하 정규화가 적용된 오토인코더와 리만 기하학 기반 손실을 갖는 보간 네트워크를 사용하여, 데이터 분포 내에 머무르는 부드럽고 현실적인 전환을 보장한다. MNIST 및 Fashion-MNIST에서 선형 보간에 비해 경로 길이와 시각적 품질 모두에서 뛰어난 성능을 발휘한다.

ABSTRACT

In this paper, we propose a method to learn a minimizing geodesic within a data manifold. Along the learned geodesic, our method can generate high-quality interpolations between two given data samples. Specifically, we use an autoencoder network to map data samples into latent space and perform interpolation via an interpolation network. We add prior geometric information to regularize our autoencoder for the convexity of representations so that for any given interpolation approach, the generated interpolations remain within the distribution of the data manifold. Before the learning of a geodesic, a proper Riemannianmetric should be defined. Therefore, we induce a Riemannian metric by the canonical metric in the Euclidean space which the data manifold is isometrically immersed in. Based on this defined Riemannian metric, we introduce a constant speed loss and a minimizing geodesic loss to regularize the interpolation network to generate uniform interpolation along the learned geodesic on the manifold. We provide a theoretical analysis of our model and use image translation as an example to demonstrate the effectiveness of our method.

연구 동기 및 목표

• 데이터 다양체 상에서 부드럽고 현실적인 데이터 샘플 간 보간을 보장하는 최소화 지오데식을 학습하는 것.
• 스위스롤 또는 S-커브와 같은 곡선 다양체를 모델링할 때 오토인코더의 비볼록 잠복 표현에 기인한 한계를 해결하는 것.
• 보간 곡선을 매개변수화할 때 호의 길이를 사용하여 균일한 보간을 강제하는 것.
• 이전의 그래프 기반 또는 잠복 공간 전용 접근 방식과 달리 리만 기하학에 부합하는 수학적으로 엄밀한 지오데식 정의를 제공하는 것.
• 오토인코더 기반 다양체 학습과 보간 네트워크의 리만 기하학적 제약 조건을 결합하여 보간 품질을 향상시키는 것.

제안 방법

• 기하 정보를 사전에 통합하여 훈련된 오토인코더를 사용하여 잠복 표현이 볼록해지도록 하여, 보간된 점들이 다양체 내에 머무르도록 보장한다.
• 유일한 매장(이소메트릭 임bedding)을 통해 유클리드 공간에 임베딩된 다양체 상의 리만 기하학적 메트릭을 유도함으로써, 잠복 공간에서 기하 제약 조건을 적용할 수 있도록 한다.
• 보간 곡선을 호의 길이로 매개변수화하여 일정한 속도로 이동하도록 하는 일정한 속도 손실을 도입한다.
• 최소화 지오데식 손실을 통해 보간 경로가 다양체 상에서 가장 짧은 경로를 따르도록 강제함으로써 리만 기하학과 일치시킨다.
• 오토인코더와 보간 네트워크를 결합한 전체 모델은 두 손실을 함께 최적화하여 고품질의 균일한 보간을 생성한다.
• 고차원 이미지 데이터를 잠복 공간으로 임베딩하기 위해 변동형 및 적대적 오토인코더(Variational Autoencoder, AAE)를 사용한다.

실험 결과

연구 질문

• RQ1 딥 러닝 프레임워크는 리만 기하학에 부합하는 데이터 다양체 상의 최소화 지오데식을 학습할 수 있는가?
• RQ2 일정한 속도로 매개변수화된 곡선을 사용하여 지오데식 경로를 따라 균일한 보간을 어떻게 달성할 수 있는가?
• RQ3 오토인코더의 기하 정규화는 곡선 다양체 상에서도 볼록한 잠복 표현을 보장할 수 있는가?
• RQ4 제안된 방법은 선형 보간에 비해 이미지 데이터에서 더 현실적이고 부드러운 보간을 생성할 수 있는가?
• RQ5 최소화 경로 길이와 분산 측면에서 지오데식 경로 길이는 선형 보간에 비해 어떻게 비교되는가?

주요 결과

• 3차원 곡선 다양체에서 제안된 방법은 진정한 지오데식 길이 1.0776에 가장 가까운 지오데식 경로 길이 1.1028을 달성하여 지오데식 근사의 높은 정확도를 입증한다.
• MNIST 및 Fashion-MNIST에서 지오데식 보간 경로는 선형 보간에 비해 평균 길이가 현저히 짧고 분산이 낮아 최소화 성질을 확인한다.
• 시각적 결과에서는 지오데식 보간이 선형 보간에서 관찰되는 가시성 없는 잔상(ghosting)과 같은 잡음 없이 더 현실적이고 의미적으로 유의미한 전환을 생성함을 보여준다.
• 지오데식 보간의 속도 곡선은 부드럽고 일관되게 유지되는 반면, 선형 보간은 불규칙한 속도 변화를 보이며 일정한 속도 손실의 효과를 확인한다.
• 절단 실험 결과, 일정한 속도 손실과 최소화 지오데식 손실을 모두 조합할 경우 가장 우수한 성능을 보이며, 가장 짧은 경로와 가장 균일한 보간을 달성한다.
• 복잡한 곡선 다양체에서도 이 방법은 보간 샘플이 다양체 분포 내에 머무르도록 유지하여, 분포 외부의 샘플을 생성하지 않는다.