[논문 리뷰] Learning Generative Models across Incomparable Spaces

Charlotte Bunne, David Alvarez-Melis외 2명|arXiv (Cornell University)|2019. 05. 14.

Generative Adversarial Networks and Image Synthesis참고 문헌 54인용 수 25

한 줄 요약

이 논문은 서로 비교할 수 없는 공간(예: 다른 차원 또는 데이터 유형) 간의 분포를 학습하기 위해 상대적 구조(절대 위치가 아닌)를 비교하는 데 Gromov-Wasserstein(GW) 거리를 사용하는 생성 대비 모델인 GwGAN을 소개한다. 이 방법은 위상 구조와 스타일을 분리하여 학습할 수 있게 하여 다양한 다양체 학습, 다중 도메인 생성 및 스타일 전이 등의 응용을 가능하게 하며, 표준 GAN을 특수한 경우로 포함한다.

ABSTRACT

Generative Adversarial Networks have shown remarkable success in learning a distribution that faithfully recovers a reference distribution in its entirety. However, in some cases, we may want to only learn some aspects (e.g., cluster or manifold structure), while modifying others (e.g., style, orientation or dimension). In this work, we propose an approach to learn generative models across such incomparable spaces, and demonstrate how to steer the learned distribution towards target properties. A key component of our model is the Gromov-Wasserstein distance, a notion of discrepancy that compares distributions relationally rather than absolutely. While this framework subsumes current generative models in identically reproducing distributions, its inherent flexibility allows application to tasks in manifold learning, relational learning and cross-domain learning.

연구 동기 및 목표

• 기존 GAN이 동일하거나 비교 가능한 데이터 공간이 필요로 하는 제한점을 해결하기 위해.
• 다른 차원성이나 데이터 유형(예: 그래프에서 유클리드 공간)과 같은 서로 비교할 수 없는 공간 간의 생성 모델링을 가능하게 하기 위해.
• 기본적인 특성(예: 스타일 또는 차원성)을 수정하면서도 기준 분포의 위상적 및 상관관계적 구조를 유지하기 위해.
• GAN 환경에서 GW 거리를 손실 함수로 사용하여 안정적이고 미분 가능한 훈련 프레임워크를 개발하기 위해.
• 특히 스타일 전이를 위해 정규화나 적대적 기법을 통해 생성 샘플을 제어적으로 조작할 수 있도록 하기 위해.

제안 방법

• 기준 분포와 생성 분포 간의 산란 거리로 Gromov-Wasserstein 거리를 사용하는 GAN 프레임워크인 GwGAN을 제안한다.
• GW 거리를 효율적으로 근사하기 위해 학습 가능한 적대자를 도입하여 생성기의 역전파를 가능하게 한다.
• 적대자를 제약하고 훈련을 안정화시키기 위해 직교 Procrustes 기반 정규화를 도입하여 의미 있는 상관관계 비교를 보장한다.
• 서로 다른 거리 공간 간의 분포 비교를 위해 내부 공간의 쌍별 거리(예: 유클리드 또는 최단 경로)를 기반으로 한다.
• 전용 정규화나 적대적 훈련을 통해 위상적 구조와 스타일이나 방향성과 같은 표면적 특성 간의 분리 학습을 가능하게 한다.
• 생성기 공간과 데이터 공간이 동일하고 등장하는 경우 표준 GAN이 특수한 경우로 포함된다.

실험 결과

연구 질문

• RQ1 생성 모델은 정렬되거나 비교 가능한 지지 집합이 없는 서로 비교할 수 없는 공간(예: 다른 차원성 또는 데이터 유형) 간의 분포를 학습할 수 있는가?
• RQ2 GW 거리를 GAN 프레임워크에서 종단 간 미분 가능성을 확보하면서 효과적이고 안정적으로 훈련 목표로 사용할 수 있는가?
• RQ3 기준 분포의 위상적 구조를 유지하면서도 두께나 방향성과 같은 스타일적 특성에 대해 독립적으로 제어할 수 있는가?
• RQ4 생성기의 추가적인 유연성을 유지하면서도 열악한 해를 방지하기 위해 어떻게 제약을 걸 수 있는가?
• RQ5 이러한 모델은 다양체 학습, 상관관계 학습 및 다중 도메인 생성 분야에서 실용적인 응용이 가능한가?

주요 결과

• GwGAN 모델은 가중 친화도 그래프에서 28×28 이미지 공간으로의 분포 학습 및 샘플 생성에 성공적으로 적용되었으며, 기저의 군집 구조를 유지하였다.
• 스타일 적대자나 정규화를 도입함으로써 MNIST 숫자의 두께 조절과 같은 제어 가능한 스타일 전이가 가능해졌다.
• 제안된 직교 Procrustes 정규화는 훈련을 안정화시키고 성능을 향상시켰으며, 현재 모델 외부로도 광범위하게 적용 가능함을 보였다.
• Gromov-Wasserstein 거리는 교차 도메인 거리가 제공되지 않는 경우에도 효과적인 훈련을 가능하게 하여 이질적인 데이터 모odalities에 적합하다.
• 프레임워크는 표준 GAN을 일반화하며, 생성기 공간과 데이터 공간이 동일하고 등장하는 경우 GwGAN은 표준 GAN으로 축소된다.
• 실험 결과, 모델는 확률적 구조를 유지하면서도 고전적 다양체 학습 방법보다 우수한 분포 유지 능력을 보였다.