[논문 리뷰] Mode Collapse and Regularity of Optimal Transportation Maps

Na Lei, Yang Guo외 5명|arXiv (Cornell University)|2019. 02. 08.

Hydrology and Drought Analysis참고 문헌 25인용 수 22

한 줄 요약

이 논문은 데이터 분포의 지지부가 볼록이 아닐 경우 최적 운반 지도의 비연속성과 GAN의 모드 붕괴를 몽주-암페르 방정식 정규성 이론을 통해 연결한다. 비연속 운반 지도 대신 연속 브레니에 포텐셜을 이산 브레니에 이론을 통해 학습함으로써, 모드 붕괴 없이 전체 모드를 커버하는 방법을 제안하며, CelebA에서 5배의 속도 향상과 AE-OT 프레임워크 내에서 향상된 안정성을 확보하였다.

ABSTRACT

This work builds the connection between the regularity theory of optimal transportation map, Monge-Ampère equation and GANs, which gives a theoretic understanding of the major drawbacks of GANs: convergence difficulty and mode collapse. According to the regularity theory of Monge-Ampère equation, if the support of the target measure is disconnected or just non-convex, the optimal transportation mapping is discontinuous. General DNNs can only approximate continuous mappings. This intrinsic conflict leads to the convergence difficulty and mode collapse in GANs. We test our hypothesis that the supports of real data distribution are in general non-convex, therefore the discontinuity is unavoidable using an Autoencoder combined with discrete optimal transportation map (AE-OT framework) on the CelebA data set. The testing result is positive. Furthermore, we propose to approximate the continuous Brenier potential directly based on discrete Brenier theory to tackle mode collapse. Comparing with existing method, this method is more accurate and effective.

연구 동기 및 목표

• 최적 운반 이론을 사용하여 GAN의 수렴 곤란과 모드 붕괴의 근본 원인을 설명하기.
• 실제 데이터 분포의 지지부가 비볼록일 경우 최적 운반 지도가 비연속이 되는 가설을 검증하기.
• 비연속 운반 지도가 아닌 연속 브레니에 포텐셜을 근사함으로써 모드 붕괴를 극복하는 새로운 방법을 제안하기.
• CelebA 데이터셋에서 AE-OT 모델을 사용하여 이론적 프레임워크를 검증하기.
• 기존 GAN 방법과 비교해 향상된 훈련 안정성과 모드 커버리지 확보하기.

제안 방법

• GAN, 최적 운반 지도, 몽주-암페르 방정식 간의 관계를 체계화하여, 목표 측도의 지지부가 비볼록일 경우 비연속 지도가 발생함을 보여준다.
• 딥 뉴럴 네트워크로 표현 가능한 볼록이고 연속적인 함수인 브레니에 포텐셜을 이산 브레니에 이론을 통해 학습하는 방법을 제안한다.
• 실제 데이터를 잠재 공간으로 매핑하기 위해 오토인코더를 사용하고, 잠재 공간에서 균일한 노이즈에서 인코딩된 데이터 분포로의 최적 운반 지도를 계산한다.
• 볼립스 최적화 기반의 이산 최적 운반 알고리즘을 사용하여 지도를 계산함으로써 안정성과 수렴성을 보장한다.
• 운반 지도와 디코더 지도를 조합하여 샘플을 생성함으로써, 특이점 집합을 통해 비연속성을 드러내는 모폴로지 시퀀스를 생성한다.
• 25개 모드를 가진 합성 데이터셋과 CelebA에서 PacGAN과의 비교를 통해 모드 커버리지와 샘플의 현실성에 대한 검증을 수행한다.

실험 결과

연구 질문

• RQ1 왜 실무에서 GAN은 모드 붕괴와 수렴 문제를 겪는가?
• RQ2 최적 운반 지도의 비연속성은 이러한 GAN 실패의 근본 원인인가?
• RQ3 딥 뉴럴 네트워크가 브레니에 포텐셜을 효과적으로 학습하여 모드 붕괴를 방지할 수 있는가?
• RQ4 잠재 공간에서 실재 데이터 분포의 지지부는 일반적으로 비볼록적이며, 이로 인해 피할 수 없는 비연속성이 발생하는가?
• RQ5 운반 지도 대신 브레니에 포텐셜을 학습함으로써 더 나은 모드 커버리지와 샘플 품질을 달성할 수 있는가?

주요 결과

• AE-OT 프레임워크는 CelebA의 잠재 공간에서 특이점 집합을 성공적으로 탐지하였으며, 한 눈이 파란색이고 다른 눈이 Café색인 얼굴을 포함한 모폴로지 시퀀스를 생성함으로써 이를 확인하였다. 이는 비연속성을 시사한다.
• 실제 데이터 지지부가 일반적으로 비볼록임을 실험적으로 검증하였으며, 이는 비연속 운반 지도의 필연성을 설명한다.
• 제안된 브레니에 포텐셜 기반 방법은 합성 다중모드 실험에서 25개 모든 모드를 완전히 커버하였고, PacGAN은 모드 사이에 비현실적인 샘플을 생성하여 떨어지지 않았다.
• AE-OT 프레임워크는 최적 운반 단계의 볼록성 덕분에 훈련 속도를 5배로 향상시키고 수렴 안정성을 향상시켰다.
• 비연속 운반 지도 대신 연속 브레니에 포텐셜을 학습하는 것이 더 정확하고 안정적인 GAN 훈련을 가능하게 함을 입증하였다.
• 이론적 분석을 통해 DNN은 비연속 지도에 수렴할 수 없으며, 이는 모드 붕괴와 훈련 불안정성을 유발하는 본질적 갈등을 설명한다.