[논문 리뷰] On the regularization of Wasserstein GANs

Henning Petzka, Asja Fischer외 1명|arXiv (Cornell University)|2017. 09. 26.

Generative Adversarial Networks and Image Synthesis참고 문헌 12인용 수 128

한 줄 요약

Lipschitz 패널티(WGAN-LP)를 제안하여 Wasserstein GAN 훈련의 안정화를 도모하고, 안정성 측면에서 WGAN-GP보다 더 우수하며 하이퍼파라미터 민감도가 낮다고 주장하며, 규제 선택의 이론적 원인을 분석한다.

ABSTRACT

Since their invention, generative adversarial networks (GANs) have become a popular approach for learning to model a distribution of real (unlabeled) data. Convergence problems during training are overcome by Wasserstein GANs which minimize the distance between the model and the empirical distribution in terms of a different metric, but thereby introduce a Lipschitz constraint into the optimization problem. A simple way to enforce the Lipschitz constraint on the class of functions, which can be modeled by the neural network, is weight clipping. It was proposed that training can be improved by instead augmenting the loss by a regularization term that penalizes the deviation of the gradient of the critic (as a function of the network's input) from one. We present theoretical arguments why using a weaker regularization term enforcing the Lipschitz constraint is preferable. These arguments are supported by experimental results on toy data sets.

연구 동기 및 목표

• WGAN에서 Lipschitz 제약을 정규화하는 것이 왜 중요한지 설명한다.
• 제안된 Lipschitz-penalty (LP)와 gradient-penalty (GP) 접근법을 비교한다.
• 더 약하고 더 강건한 정규화 항에 대한 이론적 및 실험적 증거를 제시한다.
• 장난감 데이터셋과 CIFAR-10에서 실용적인 학습 개선을 보여준다.

제안 방법

• WGAN을 위한 Kantorovich 이중성 및 최적이동 기초를 검토한다.
• 양의 값일 때 ||∇f(x̂)||-1을 페널티하는 Lipschitz 정규화 항을 도입한다.
• LP 패널티를 가진 판별기와 생성기 간의 교대 업데이트를 제안한다.
• 그래디언트 페널티와 최적 결합을 사용할 때의 샘플링 문제를 분석한다.
• 이론적 경계와 데이터셋에 대한 실증 학습을 통해 LP와 GP를 비교한다.

실험 결과

연구 질문

• RQ1 WGAN에서 Lipschitz 제약을 강제하는 것이 왜 중요한가, 그리고 이를 어떻게 정규화해야 하는가?
• RQ2 한쪽 그래디언트 페널티가 실무에서 양쪽 페널티와 어떻게 비교되는가?
• RQ3 제안된 WGAN-LP가 WGAN-GP에 비해 안정성과 하이퍼파라미터 민감도 감소를 제공하는가?
• RQ4 마진으로부터 샘플링한 경우와 최적 결합에서 샘플링하는 경우에 그래디언트 패널티를 사용할 때 어떤 이론적 문제가 발생하는가?
• RQ5 CIFAR-10과 같은 표준 벤치마크에서 LP와 GP 패널티는 어떻게 성능을 보이는가?

주요 결과

• ||∇f(x̂)|| 패널라이제이션에 기반한 Lipschitz 패널티가 가중치 클리핑 및 GP 패널티보다 학습 안정성을 향상시킨다.
• WGAN-LP는 λ 값의 범위에 걸쳐 더 안정적인 크리틱 손실과 더 나은 수렴 동작을 보인다.
• LP 패널티는 하이퍼파라미터 선택에 대한 민감도가 더 낮고 학습 중에 더 잘 추정된 Wasserstein 거리를 보인다.
• CIFAR-10에 대한 실험 결과가 유사한 설정에서 WGAN-GP에 비해 경쟁력 있거나 더 나은 샘플 품질을 시사한다.
• 최적 운송 결합이 비결정적이거나 크리틱의 미분 가능성이 제한될 때 더 약한 정규화(LP)가 바람직한 이유를 이론적으로 설명한다.
• 본 연구는 최적 결합이 아닌 주변 분포에서 샘플링하는 것이 그래디언트 동작과 크리틱의 미분가능성에 영향을 줄 수 있음을 보여준다.