[논문 리뷰] Improving GANs Using Optimal Transport

Tim Salimans, Han Zhang외 2명|arXiv (Cornell University)|2018. 03. 15.

Generative Adversarial Networks and Image Synthesis참고 문헌 22인용 수 46

한 줄 요약

OT-GAN은 primal form 최적운송과 적대적으로 학습된 특징 공간을 결합한 미니 배치 에너지 거리를 도입하여 GANs를 더 안정적으로 학습시키고 여러 벤치마크에서 최첨단 결과를 달성합니다.

ABSTRACT

We present Optimal Transport GAN (OT-GAN), a variant of generative adversarial nets minimizing a new metric measuring the distance between the generator distribution and the data distribution. This metric, which we call mini-batch energy distance, combines optimal transport in primal form with an energy distance defined in an adversarially learned feature space, resulting in a highly discriminative distance function with unbiased mini-batch gradients. Experimentally we show OT-GAN to be highly stable when trained with large mini-batches, and we present state-of-the-art results on several popular benchmark problems for image generation.

연구 동기 및 목표

• 생성 모델링에 대해 Generator와 데이터 분포 간의 판별적이고 편향되지 않은 미니배치 거리를 제시한다.
• 프라이멀 최적 운송과 적대적으로 학습된 특징 공간을 혼합한 새로운 Mini-batch Energy Distance를 제안한다.
• OT-GAN을 학습된 잠재 공간에서 운송 비용을 적대적으로 학습시켜 판별력과 학습 안정성을 개선한다.
• 표준 벤치마크에서 최첨단 성능을 입증하고 안정성 및 모드 다양성을 분석한다.

제안 방법

• Mini-batch Energy Distance D2_MED(p, g)를 Mini-batch Sinkhorn(엔트로피 보정 OT)와 학습된 특징 공간에서의 에너지 거리 유사항을 결합한 제곱 거리로 정의한다.
• 정규화된 임베딩 vη(x)와 vη(y) 사이의 코사인 거리를 통해 신경망 비평가가 생성한 전이 비용 cη(x, y)를 학습하고 결과 미니배치 에너지 거리를 최대화한다.
• 생성기와 적대적 운송 비용 비평가를 교대 그래디언트 업데이트로 학습시키고, 비평가의 붕괴를 방지하기 위해 생성기를 더 자주 업데이트한다.
• 엔벨롭 이론 정당화에 따라 역전파 없이 Sinkhorn 알고리즘을 통해 매칭 행렬을 계산한다.
• 사이드 정보 S를 미니배치 계산에 포함시켜 조건부 생성으로 확장한다(Algorithm 2).
• CIFAR-10 실험을 위한 생성기/비평가 설계 및 최적화 설정 등 아키텍처 및 학습 세부 정보를 제공한다.

실험 결과

연구 질문

• RQ1 primal-form 최적 운송과 적대적으로 학습된 특징 공간을 결합한 것이 GAN 학습을 위한 판별적이고 편향되지 않은 미니배치 거리를 산출하는가?
• RQ2 OT-GAN은 표준 벤치마크(CIFAR-10, ImageNet Dogs) 및 대형 미니배치 구간에서 안정성 및 샘플 품질을 기저선보다 향상시키는가?
• RQ3 적대적으로 학습된 운송 비용 함수가 고정 비용 또는 임의 매칭 벤치마크 대비 성능과 강인성을 어떻게 영향을 주는가?
• RQ4 OT-GAN은 도전적인 데이터셋에서 긴 학습 주기 동안 모드 붕괴를 완화하고 다양성을 유지할 수 있는가?

주요 결과

Method	Inception Score
Real Data	11.95 ± .12
DCGAN	6.16 ± .07
Improved GAN	6.86 ± .06
Denoising FM	7.72 ± .13
WGAN-GP	7.86 ± .07
OT-GAN	8.47 ± .12

• OT-GAN은 CIFAR-10에서 기저선 대비 최첨단 inception 점수(8.47 ± 0.12)를 달성한다.
• 대형 미니배치에서 OT-GAN은 학습 안정성 및 모드 커버리지를 향상시키고 토의 데이터 및 합성 데이터 실험에서 붕괴를 피한다.
• 적대적으로 학습된 운송 비용은 고정 비용 또는 무작위 매칭 변형보다 현저히 우수하여 비용 함수 학습의 중요성을 강조한다.
• ImageNet Dogs에서 OT-GAN은 조정된 DCGAN 변형보다 더 높은 inception 점수(8.97 ± 0.09)를 달성하여 이미지 품질이 더 좋음을 시사한다.
• 조건부 OT-GAN은 CUB 텍스트-투-이미지 과제에서 더 높은 inception 점수(3.84 ± 0.05)를 달성한다