[논문 리뷰] Flat Metric Minimization with Applications in Generative Modeling

Thomas Möllenhoff, Daniel Cremers|arXiv (Cornell University)|2019. 05. 12.

3D Shape Modeling and Analysis참고 문헌 49인용 수 1

한 줄 요약

이 논문은 데이터를 확률 분포가 아니라 일반화된 방향성 다양체인 k-현재(oriented k-currents)로 간주하는 FlatGAN이라는 생성 모델링 프레임워크를 소개한다. 평탄한 거리(metric)를 사용하여 생성된 데이터와 진짜 데이터의 현재 사이의 거리를 최소화한다. 이 방법은 데이터 다양체의 탄젠트 벡터를 명시적으로 모델링함으로써, 암시적 지도 학습 없이도 시간 시리즈 및 3D 시각화 모델링에서 최신 기준을 달성하는 분리 가능한, 해석 가능한, 등변성(latent) 표현을 가능하게 한다.

ABSTRACT

We take the novel perspective to view data not as a probability distribution but rather as a current. Primarily studied in the field of geometric measure theory, $k$-currents are continuous linear functionals acting on compactly supported smooth differential forms and can be understood as a generalized notion of oriented $k$-dimensional manifold. By moving from distributions (which are $0$-currents) to $k$-currents, we can explicitly orient the data by attaching a $k$-dimensional tangent plane to each sample point. Based on the flat metric which is a fundamental distance between currents, we derive FlatGAN, a formulation in the spirit of generative adversarial networks but generalized to $k$-currents. In our theoretical contribution we prove that the flat metric between a parametrized current and a reference current is Lipschitz continuous in the parameters. In experiments, we show that the proposed shift to $k>0$ leads to interpretable and disentangled latent representations which behave equivariantly to the specified oriented tangent planes.

연구 동기 및 목표

• 기존 생성 모델이 기하학적 구조(예: 방향성, 탄젠트 평면)를 忽시하는 한계를 해결하기 위해 데이터를 분포로 간주하는 것 외의 접근을 제안한다.
• 특정 다양체의 변형(예: 회전, 조명, 시점, 시간 변화)에 대해 등변성(equivariant)으로 행동하는 표현 학습을 가능하게 한다.
• 기하측도론을 활용하여, 특히 k-현재와 평탄한 거리를 사용하는 방식으로 기존 GAN 및 VAE의 대안으로서 원칙적인 생성 모델링을 정식화한다.
• 탄젠트 벡터 정보를 통합함으로써, 지도 학습 없이도 분리 가능하고 해석 가능한 잠재 표현을 도출할 수 있음을 입증한다.

제안 방법

• 각 데이터 포인트가 방향성 k차원 탄젠트 평면과 연결된 k-현재 T로 데이터를 표현한다.
• 잠재 공간에서의 현재 S ∈ N₁,Z(Rˡ)를 데이터 공간으로 올리는 전진 사상 g: Z → X를 정의함으로써 생성 모델을 구성하며, 이를 통해 g♯S ∈ N₁,X(Rᵈ)를 형성한다.
• 정규화된 손실 Fλ(g♯S, T)를 사용하여 생성된 현재 g♯S와 진짜 데이터 현재 T 사이의 평탄한 거리를 최소화하며, λ는 이로 인한 트레이드오프를 조절한다.
• Morgan & Vixlie(2007)의 스케일드 평탄한 노름(scaled flat norm)을 거리 측도로 사용하여, 약한* 수렴을 메트라이제이션하고 매개변수에 대한 리프시츠 연속성을 보장한다.
• 손실를 자동 미분을 통해 자코비안-벡터 곱의 역전파를 두 번 추가로 수행함으로써 구현하여, 엔드 투 엔드 학습이 가능하도록 한다.
• k=0일 경우, 적절한 조건 하에서 워셔스타인 GAN으로 수렴함을 보여, 기존 GAN 프레임워크와의 일관성을 입증한다.

실험 결과

연구 질문

• RQ1 확률 분포가 아닌 k-현재로 데이터를 모델링할 경우, 생성 모델링에서 더 구조적이고 해석 가능한 잠재 표현을 얻을 수 있는가?
• RQ2 시간 차이 또는 기하학적 변환과 같은 특정 탄젠트 벡터에 대해 등변성을 강제할 경우, 잠재 공간의 분리 가능성에 기여하는가?
• RQ3 특히 최적화 및 일반화 측면에서, k-현재를 비교할 때 평탄한 거리 측도가 적절하고 안정적인가?
• RQ4 시간적 지도 학습 없이도, 제안된 프레임워크는 영상 데이터에서 의미 있는 시간 역학(예: 시간의 화살표)을 탐지할 수 있는가?
• RQ5 표면의 기하학적 구조(탄젠트 평면)를 포함할 경우, 기존 GAN과 비교해 생성 샘플의 품질과 분리 가능성은 어떻게 향상되는가?

주요 결과

• 매개변수에 대해 매개변수화된 현재와 기준 현재 사이의 평탄한 거리는 리프시츠 연속성을 보장하여 안정적인 최적화와 일반화 보장을 제공한다.
• 2차원 원형 데이터셋에서 k=1인 FlatGAN은 원을 따라 일관되게 움직이는 해석 가능한 각도 기반 잠재 코드를 생성하지만, k=0인 WGAN-GP는 이러한 구조를 가지지 못한다.
• MNIST 데이터셋에서 숫자의 회전과 확대를 통해 탄젠트 벡터를 지정하면, 붓기 두께와 방향성과 같은 해석 가능한 인자에 대응하는 분리 가능한 잠재 코드를 얻을 수 있다.
• smallNORB 데이터셋에서 잠재 코드 z1, z2, z3는 각각 조명, 고도, 시점 변화에 대응하며, 3차원 시점 변화에 대한 등변성을 입증한다.
• tinyvideos 데이터셋에서, 모델은 프레임을 무작위로 섞어 학습함에도 불구하고, 해류나 사람의 보행과 같은 일관된 시간적 표현을 학습한다.
• 상호정보 최대화를 명시적으로 고려하지 않음에도 불구하고, 분리 가능한 표현을 달성함을 보여, 기하학적 구조 자체가 의미 있는 분리 가능성을 이끄는 데 기여할 수 있음을 시사한다.