[논문 리뷰] Varying k-Lipschitz Constraint for Generative Adversarial Networks

Kanglin Liu|arXiv (Cornell University)|2018. 03. 16.

Generative Adversarial Networks and Image Synthesis참고 문헌 2인용 수 3

한 줄 요약

이 논문은 워셔스탄 GAN에서 기울기 페널티의 대체로 변하는 k-립시츠 제약 조건을 제안하여 훈련 안정성과 속도를 향상시키고 이미지 품질을 향상시킨다. 훈련 중에 립시츠 제약 조건을 동적으로 조정함으로써, 이 방법은 디스criminator의 용량 제약을 줄이고, 이미지 무결성과 강하게 상관되는 수렴 측도를 도입한다.

ABSTRACT

Generative Adversarial Networks (GANs) are powerful generative models, but suffer from training instability. The recent proposed Wasserstein GAN with gradient penalty (WGAN-GP) makes progress toward stable training. Gradient penalty acts as the role of enforcing a Lipschitz constraint. Further investigation on gradient penalty shows that gradient penalty may impose restriction on the capacity of discriminator. As a replacement, we introduce varying k-Lipschitz constraint. Proposed varying k-Lipschitz constraint witness better image quality and significantly improved training speed when testing on GAN architecture. Besides, we introduce an effective convergence measure, which correlates well with image quality.

연구 동기 및 목표

• 생성적 적대적 네트워크(GANs)의 훈련 불안정성, 특히 WGAN-GP 프레임워크에서의 문제를 해결하기 위해.
• 기울기 페널티가 디스criminator 용량을 제한하는 데서 기인하는 한계를 규명하기 위해.
• 변하는 k-립시츠 제약 조건을 통해 기울기 페널티의 더 유연한 대체 방법을 제안하기 위해.
• GAN 아키텍처에서 훈련 효율성과 이미지 품질을 향상시키기 위해.
• 생성된 이미지 품질과 신뢰성 있게 상관되는 수렴 측도를 도입하기 위해.

제안 방법

• 훈련 중에 동적으로 조정되는 립시츠 상한 k(t)를 갖는 변하는 k-립시츠 제약 조건을 도입하여, WGAN-GP에서 고정된 기울기 페널티를 대체한다.
• 각 훈련 단계에서 디스criminator의 기울기 노름이 변하는 상한 k(t) 내에 유지되도록 k-립시츠 제약 조건을 적용한다.
• 학습 가능한 또는 점차 감소하는 k(t) 스케줄을 사용하여 시간이 지남에 따라 립시츠 제약 조건의 강도를 적응적으로 제어한다.
• 인터폴레이션된 진짜-가짜 샘플에서 k-립시츠 조건을 위반할 경우에 페널티를 주는 수정된 손실 함수를 사용한다.
• k-립시츠 제약 조건과 디스criminator 손실의 변화에 기반한 새로운 수렴 측도를 도입하여 훈련 진행 상황을 추적한다.
• 기존의 WGAN-GP의 생성자 및 디스criminator 아키텍처를 유지하면서, 새로운 제약 조건을 적용한 표준 GAN 훈련 파이프라인을 사용한다.

실험 결과

연구 질문

• RQ1 변하는 k-립시츠 제약 조건은 고정된 기울기 페널티에 비해 훈련 안정성 측면에서 어떻게 비교되는가?
• RQ2 변하는 k-립시츠 제약 조건은 GAN에서 이미지 품질과 훈련 속도를 향상시킬 수 있는가?
• RQ3 제안된 수렴 측도는 훈련 중에 최종 이미지 품질을 신뢰성 있게 예측할 수 있는가?
• RQ4 변하는 k-립시츠 제약 조건은 디스criminator 용량 제약을 어느 정도 줄이는가?
• RQ5 k(t)의 동적 조정은 GAN의 최적화 지형에 어떤 영향을 미치는가?

주요 결과

• 변하는 k-립시츠 제약 조건은 고정된 기울기 페널티를 사용하는 WGAN-GP에 비해 훈련 속도가 크게 향상된다.
• 표준 벤치마크에서 프리셰트 인ception 디스턴스(Fréchet Inception Distance, FID)로 측정한 이미지 품질이 제안된 방법에 의해 향상된다.
• 제안된 수렴 측도는 최종 이미지 품질과 강하게 상관되며, 조기 정지 및 훈련 모니터링을 가능하게 한다.
• 고정된 기울기 페널티에서 관찰된 디스criminator 용량 제약의 부정적 영향을 줄여, 더 나은 특징 학습이 가능하게 한다.
• k(t)의 동적 조정은 더 빠른 수렴과 더 안정적인 훈련 동역학을 가능하게 하여 GAN 훈련에서 유의미한 향상을 이룬다.
• 실증 결과는 다양한 GAN 아키텍처와 데이터셋에서 일관된 향상이 있음을 보여준다.