[논문 리뷰] Wasserstein GAN

Martín Arjovsky, Soumith Chintala외 1명|arXiv (Cornell University)|2017. 01. 26.

Fibroblast Growth Factor Research인용 수 606

한 줄 요약

본 논문은 Wasserstein GAN (WGAN)을 도입하며, Earth Mover distance를 손실로 사용해 생성 모델을 학습시키고, 이론적으로 학습 안정성의 개선과 모드 붕괴의 감소를 입증한다.

ABSTRACT

We introduce a new algorithm named WGAN, an alternative to traditional GAN training. In this new model, we show that we can improve the stability of learning, get rid of problems like mode collapse, and provide meaningful learning curves useful for debugging and hyperparameter searches. Furthermore, we show that the corresponding optimization problem is sound, and provide extensive theoretical work highlighting the deep connections to other distances between distributions.

연구 동기 및 목표

• 밀도가 존재하지 않거나 기존의 KL 기반 방법이 저차원 매니폴드에서 실패할 때 학습 분포를 동기화하기 위함.
• 연속적 기울을 제공하는 Earth Mover distance( Wasserstein distance )를 기반으로 한 GAN의 실용적 목표를 제시.
• WGAN의 이론적 특성을 입증하고 표준 GAN에 비한 안정성 및 모드 커버리지 측면의 경험적 이점을 보여준다.

제안 방법

• 분포 간 거리 척도(TV, KL, JS, EM)를 정의하고 비교하며, EM이 저차원 매니폴드 상의 분포에 더 적합하다고 주장한다.
• Kantorovich-Rubinstein 이중성을 이용해 EM 거리를 1-리프시츠 함수의 상계로 표현한다.
• 임의의 가중치 클리핑을 통해 Lipschitz 연속성을 강제하여 1-리프시츠 함수(평가자)를 매개변수화하고 EM 거리를 근사한다.
• 가중치를 최적에 가깝게 학습시키고, 평가자를 통해 기울기를 전달받아 생성기를 업데이트하여 EM 거리를 최소화한다.
• 실용적 하이퍼파라미터로 다수의 평가자 업데이트와 생성기 업데이트를 교대하는 알고리즘(WGAN)을 제공한다.
• 가중치 클리핑의 한계점을 논의하고 Lipschitz 강제의 개선 가능 영역을 제안한다.

실험 결과

연구 질문

• RQ1 Earth Mover distance를 최적화하는 것이 생성 모델의 학습에 연속적이고 정보가 풍부한 기울기를 제공하는가?
• RQ2 WGAN이 학습 안정성, 모드 커버리지, 손실과 샘플 품질 간의 상관성 측면에서 표준 GAN과 어떻게 비교되는가?
• RQ3 Lipschitz 제약 강제와 같은 실용적 고려사항이 WGAN의 성능과 안정성에 어떤 영향을 주는가?

주요 결과

• WGAN은 생성기 수렴 및 샘플 품질과 상관관계가 있는 의미 있는 손실 지표를 제공한다.
• WGAN 학습은 전통적 GAN보다 더 안정적이고 모드 붕괴에 덜 취약하다.
• 최적성에 가까운 평가자를 학습시키면 생성기에 신뢰할 수 있는 기울기가 제공되며, 수렴하는 충분한 기울기를 주는 판별기가 포화되어 기울기가 사라지는 현상은 없다.
• 경험적으로 WGAN은 표준 GAN에 비해 다양한 생성기 아키텍처에서 더 강건한 성능을 보인다.
• EM 거리는 거의 everywhere에서 연속적이고 미분 가능하므로 신경망의 기울기 기반 최적화를 지원한다.