[논문 리뷰] A gradual, semi-discrete approach to generative network training via explicit Wasserstein minimization

Yucheng Chen, Matus Telgarsky외 4명|arXiv (Cornell University)|2019. 06. 08.

Generative Adversarial Networks and Image Synthesis참고 문헌 34인용 수 4

한 줄 요약

이 논문은 생성 모델의 출력과 목표 분포 간의 워셔스타인 거리(Wasserstein distance)를 명시적으로 최소화하기 위해 최적 운반 맵핑과 회귀를 번갈아 수행하는 비대칭적(비대칭적 아님) 생성 모델링 접근법을 제안한다. 연속적인 생성기 출력을 갖는 반반응 설정(semi-discrete setting)을 활용함으로써, 경험적 및 인구 워셔스타인 거리 모두에 대해 증명 가능한 최소화를 달성하며, MNIST와 Thin-8에서 최신 기술 수준의 성능을 보이며 일반화 능력과 모드 커버리지가 향상됨.

ABSTRACT

This paper provides a simple procedure to fit generative networks to target distributions, with the goal of a small Wasserstein distance (or other optimal transport costs). The approach is based on two principles: (a) if the source randomness of the network is a continuous distribution (the "semi-discrete" setting), then the Wasserstein distance is realized by a deterministic optimal transport mapping; (b) given an optimal transport mapping between a generator network and a target distribution, the Wasserstein distance may be decreased via a regression between the generated data and the mapped target points. The procedure here therefore alternates these two steps, forming an optimal transport and regressing against it, gradually adjusting the generator network towards the target distribution. Mathematically, this approach is shown to minimize the Wasserstein distance to both the empirical target distribution, and also its underlying population counterpart. Empirically, good performance is demonstrated on the training and testing sets of the MNIST and Thin-8 data. The paper closes with a discussion of the unsuitability of the Wasserstein distance for certain tasks, as has been identified in prior work [Arora et al., 2017, Huang et al., 2017].

연구 동기 및 목표

• 생성 네트워크의 출력과 목표 데이터 분포 사이의 워셔스타인 거리를 명시적으로 최소화하는 비대칭적, 번갈아 시행하는 절차를 개발하는 것.
• 배치 간 최적 운반 근사에서 발생하는 샘플링 편향으로 인해 진정한 워셔스타인 거리를 최소화하지 못하는 한계를 해결하는 것.
• 차원 수에 대해 다항식으로 증명되는 경계를 확보함으로써, 경험적 훈련 세트에만 국한되지 않고 기본 데이터 분포로의 일반화를 보장하는 것.
• 특히 Thin-8와 같은 도전적인 데이터셋에서 GAN과 VAE에 비해 더 나은 모드 커버리지와 분포 충실도를 달성하는 데 성능 향상을 보여주는 것.
• 낮은 워셔스타인 거리와 시각적 선명도 사이의 상충 관계를 탐색하고, 청각 손실 또는 대칭적 정규화와 같은 조치를 제안하는 것.

제안 방법

• 이 방법은 두 단계를 번갈아 수행한다: 최적 운반 솔버(OTS)는 반반응 설정에서 현재 생성기의 출력 분포와 목표 분포 사이의 결정적 최적 운반 맵핑을 계산한다.
• FIT 단계는 표준 회귀 기법을 사용하여 생성기 네트워크를 업데이트하며, OT 맵핑에 의해 정의된 목표 지점으로 생성 샘플을 이동시킨다.
• 반반응 설정은 최적 운반이 결정적이고 정확해지게 하여, 배치 간 운반 근사에서 기인하는 편향을 피한다.
• 절차는 점진적이고 서서히 생성기의 출력 분포를 목표 분포로 변형시키며, 이는 경험적으로 더 좋은 일반화와 더 부드러운 다양체를 이끈다.
• 삼각 부등식과 농도 경계를 사용하여 이론적 보장을 확립하였으며, 방법이 경험적 데이터셋과 기본 인구 분포 양쪽 모두에 대해 워셔스타인 거리를 최소화함을 보여준다.
• 이 방법은 MNIST, CIFAR10, 그리고 도전적인 Thin-8 데이터셋에 적용되었으며, 워셔스타인-1 거리를 측정 기준으로 GAN과 VAE와의 비교가 이루어졌다.

실험 결과

연구 질문

• RQ1 생성 모델의 출력과 목표 분포 사이의 워셔스타인 거리를 명시적으로 최소화하는 비대칭적, 번갈아 시행 절차는 가능한가?
• RQ2 최적 운반의 반반응 설정이 정확하고 결정적인 맵핑을 가능하게 하여, 배치 간 근사에서 기인하는 편향을 피할 수 있는가?
• RQ3 점진적이고 반복적인 정밀 조정 과정이 경험적 훈련 세트뿐 아니라 기본 데이터 분포로의 일반화에 더 효과적인가?
• RQ4 워셔스타인 거리 최소화가 GAN 기반 방법에 비해 모드 커버리지와 시각 품질에 어떤 영향을 미치는가?
• RQ5 이미지 선명도 측면에서 워셔스타인 최소화의 한계는 무엇이며, 이를 어떻게 보완할 수 있는가?

주요 결과

• CIFAR10에서 워셔스타인-1 거리가 655로 가장 낮게 기록되어, WGAN-GP(849)와 VAE(745)를 모두 앞서며 분포 일치도가 뛰어남.
• MNIST와 Thin-8에서 기준선 대비 더 우수한 시각적 품질의 숫자를 생성하며, 훈련 세트와 테스트 세트 모두에서 일관된 성능을 보임.
• 모드를 생략할 경우 운반 비용이 매우 높기 때문에, 모드 붕괴가 자연스럽게 방지되어 데이터 분포의 모드를 더 잘 커버함.
• GAN에 비해 생성 샘플의 흐림 정도가 낮음에도 불구하고 워셔스타인 거리는 가장 낮게 유지되며, 픽셀 수준의 운반 비용 최소화가 정규화 효과를 유도함을 시사함.
• 이론적 분석을 통해 방법이 경험적 데이터셋과 기본 인구 분포 양쪽 모두에 대해 워셔스타인 거리를 최소화하며, 차원 수에 대해 다항식으로 증명되는 경계를 확보함.
• 저자들은 픽셀 수준의 지표를 통한 워셔스타인 거리 최소화가 모드 커버리지 편향을 유도할 것으로 추측하며, 향후 작업에서 청각 손실 또는 대칭적 손실과의 조합을 제안함.