[논문 리뷰] Metrics for Deep Generative Models

Nutan Chen, Alexej Klushyn외 4명|arXiv (Cornell University)|2017. 11. 03.

Generative Adversarial Networks and Image Synthesis참고 문헌 23인용 수 35

한 줄 요약

이 논문은 깊이 있는 생성 모델의 잠재 공간에서 비선형 데이터 다양체의 기하학을 고려한 리emann 거리 측도를 제안한다. 이는 유클리드 거리 대신 잠재 공간 내 지오데식 경로를 사용하여 거리를 측정한다. 잠재 공간을 리만 다양체로 모델링하고, 메트릭 텐서를 통해 경로 길이를 최소화함으로써, 특히 고차원이고 밀도가 낮은 데이터 영역에서 기존의 유클리드 또는 선형 보간보다 더 매끄럽고 자연스러운 보간과 더 나은 유사도 추정을 가능하게 한다.

ABSTRACT

Neural samplers such as variational autoencoders (VAEs) or generative adversarial networks (GANs) approximate distributions by transforming samples from a simple random source---the latent space---to samples from a more complex distribution represented by a dataset. While the manifold hypothesis implies that the density induced by a dataset contains large regions of low density, the training criterions of VAEs and GANs will make the latent space densely covered. Consequently points that are separated by low-density regions in observation space will be pushed together in latent space, making stationary distances poor proxies for similarity. We transfer ideas from Riemannian geometry to this setting, letting the distance between two points be the shortest path on a Riemannian manifold induced by the transformation. The method yields a principled distance measure, provides a tool for visual inspection of deep generative models, and an alternative to linear interpolation in latent space. In addition, it can be applied for robot movement generalization using previously learned skills. The method is evaluated on a synthetic dataset with known ground truth; on a simulated robot arm dataset; on human motion capture data; and on a generative model of handwritten digits.

연구 동기 및 목표

• 잠재 공간 내 유클리드 거리의 한계를 해결한다. 이는 다양체 왜곡과 가능도에서의 불연속성으로 인해 진정한 데이터 유사도를 반영하지 못하기 때문이다.
• VAE와 GAN이 잠재 공간을 밀도 있게 채우며 관측 공간에서 고차원이고 밀도가 낮은 영역이 붕괴되는 문제를 해결한다.
• 리만 다양체 이론을 활용해 기하학을 고려한 원칙적인 거리 측도를 개발한다. 이는 내재된 데이터 구조를 반영한다.
• 로봇 운동 생성 및 데이터 시각화와 같은 응용 분야에서 잠재 공간 내 더 매끄럽고 자연스러운 보간을 가능하게 한다.
• 다양한 데이터셋, 즉 합성 데이터, 로봇 암, 인간 운동 캡처 데이터를 대상으로 방법을 검증하여, 더 나은 경로 품질과 낮은 왜곡을 입증한다.

제안 방법

• 생성 모델의 야코비안에서 유도된 메트릭 텐서를 사용해 깊이 있는 생성 모델의 잠재 공간을 리만 다양체로 모델링한다.
• 두 데이터 포인트 간의 거리를 다양체 상의 최단 지오데식 경로의 길이로 정의하며, 이는 곡선 길이 적분의 최소화를 통해 계산된다.
• 정확한 사후 근사 추정을 보장하기 위해 중요도 가중치 자동에ncoder(IWAE)를 사용해 잠재 변수 모델의 강건한 추론과 훈련을 수행한다.
• 지오데식 계산의 수치적 안정성을 향상하기 위해 메트릭 텐서에 특이값 분해(SVD)를 적용한다.
• 두 잠재 코드 사이의 최단 경로를 구하는 경계값 문제를 해결함으로써 지오데식 보간을 수행하며, 이는 선형 보간을 대체한다.
• 지오데식 경로의 기하학적 특성을 해석하기 쉽게 하기 위해 메트릭 인자(MF)를 사용해 메트릭을 시각화한다. 이는 잠재 공간 내 국소 영역 왜곡을 정량화한다.

실험 결과

연구 질문

• RQ1 깊이 있는 생성 모델의 잠재 공간에서 데이터 포인트 간에 더 의미 있는 거리를 어떻게 정의할 수 있을까? 이는 관측 공간 내 진정한 유사도를 반영해야 한다.
• RQ2 리만 지오데식 보간이 부드럽고 자연스러운 운동 시퀀스를 생성할 때, 선형 또는 유클리드 보간보다 어느 정도 뛰어나게 작용하는가?
• RQ3 리만 메트릭은 특히 데이터 밀도가 낮은 영역에서 잠재 공간 내 국소 왜곡을 효과적으로 포착하고 시각화할 수 있는가?
• RQ4 제안된 메트릭은 로봇 스킬 학습 작업에서 경로 계획 및 운동 일반화를 어떻게 향상시키는가?
• RQ5 이 방법은 인간 운동 캡처 시퀀스와 같은 복잡하고 고차원적인 데이터에서 구조적 및 운동학적 일관성을 유지하는가?

주요 결과

• 로봇 암 운동에 대해, 잠재 공간 내 지오데식 보간은 유클리드 보간(1.48) 대비 훨씬 짧은 경로 길이(0.54)를 기록했으며, 이는 더 매끄럽고 자연스러운 종단기구 궤적을 유도했다.
• 인간 운동 데이터에서는 지오데식 경로의 거리(2.57)가 유클리드 경로(2.89)보다 낮았고, 재구성 결과는 갑작스러운 점프 없이 일관되고 자연스러운 걷기 운동을 보였다.
• 메트릭 인자(MF) 시각화 결과, 낮은 데이터 밀도 영역에서 높은 왜곡이 확인되었으며, 이는 다양체 가설을 뒷받침하고 유클리드 거리가 이러한 영역에서 실패함을 확인했다.
• 지오데식 보간은 유클리드 보간에서 큰 비자연스러운 운동을 일으킨 고메트릭 인자(MF) 영역을 피했으며, 특히 인간 운동 데이터셋에서 두드러졌다.
• 지오데식 경로를 사용해 150개 시간 단위 내에 완전한 원형 걷기 운동을 성공적으로 생성했고, 반면 유클리드 보간은 끈적하고 일관성 없는 운동을 생성했다.
• 이 방법은 명시적인 작업공간 제약 없이도 고차원 데이터, 즉 전체 신체 히우먼로이드 운동에 잘 일반화되었다.