[논문 리뷰] A Wasserstein GAN model with the total variational regularization

Lijun Zhang, Yujin Zhang외 1명|arXiv (Cornell University)|2018. 12. 03.

Generative Adversarial Networks and Image Synthesis참고 문헌 14인용 수 6

한 줄 요약

이 논문은 비판자 네트워크에 1-립시츠 제약 조건을 강제하기 위해 총변동(Total Variation, TV) 정규화를 도입한 워셔스타인 GAN(TV-WGAN)을 제안한다. 기존의 기울기 페널티나 가중치 클리핑을 대체하여 학습 안정성을 햖스킨다. 이 방법은 다양한 아키텍처에서 뛰어난 학습 안정성을 확보하고 기울기 폭주를 감소시키며, 이미지 다양성과 시각적 품질 간의 트레이드오프를 제어할 수 있는 마진 인자 margin factor를 도입한다. 결과적으로 GP-WGAN보다 안정성 면에서 뛰어나고, 높은 마진 값에서는 개선된 인ception 스코어를 보이며 성능을 뛰어넘는다.

ABSTRACT

It is well known that the generative adversarial nets (GANs) are remarkably difficult to train. The recently proposed Wasserstein GAN (WGAN) creates principled research directions towards addressing these issues. But we found in practice that gradient penalty WGANs (GP-WGANs) still suffer from training instability. In this paper, we combine a Total Variational (TV) regularizing term into the WGAN formulation instead of weight clipping or gradient penalty, which implies that the Lipschitz constraint is enforced on the critic network. Our proposed method is more stable at training than GP-WGANs and works well across varied GAN architectures. We also present a method to control the trade-off between image diversity and visual quality. It does not bring any computation burden.

연구 동기 및 목표

• 고정된 학습률이나 균일한 네트워크 아키텍처에서 기울기 페널티 기반 WGAN(GP-WGAN)에서 지속적인 학습 불안정성을 해결하기 위함.
• 기울기 페널티나 가중치 클리핑을 대체하여, 비판자에 대해 1-립시츠 제약 조건을 암묵적으로 강제하는 총변동(TV) 정규화 항을 도입하기 위함.
• 추가적인 계산 비용 없이 다양한 GAN 아키텍처에서 높은 학습 안정성을 유지하는 단순하면서도 효과적인 방법을 개발하기 위함.
• 이미지 다양성과 시각적 품질 간의 트레이드오프를 제어할 수 있도록 마진 인자 $ \delta $ 를 도입하기 위함.

제안 방법

• 비판자 네트워크에 1-립시츠 제약 조건을 암묵적으로 강제하기 위해 WGAN 목표 함수에 TV 정규화 항을 도입한다.
• 비판자 손실 함수는 다음과 같이 수정된다: $ L = \mathbb{E}[D(x)] - \mathbb{E}[D(G(z))] + \lambda \cdot \text{TV}(D) $, 여기서 TV(D)는 비판자의 출력에서의 공간적 변동성을 페널티로 부과한다.
• TV 정규화는 비판자에 대해 부드러움 사전 정보를 제공하여 기울기 노이즈에 대한 민감도를 감소시키고 기울기 폭주를 방지한다.
• 마진 인자 $ \delta $ 는 하이퍼파rameter로 설정되어, TV 항의 상대적 가중치를 조정함으로써 이미지 다양성과 시각적 품질 간의 트레이드오프를 제어한다.
• 이 방법은 DCGAN 유사 및 BEGAN 유사 아키텍처를 포함한 다양한 GAN 아키텍처와 호환되며, 아키텍처 수정 없이 적용 가능하다.
• 학습은 표준 하이퍼파rameter를 사용한 Adam 옵티마이저로 수행되며, 추가적인 계산 부담이 없다.

실험 결과

연구 질문

• RQ1 총변동 정규화가 기울기 페널티나 가중치 클리핑에 의존하지 않고 WGAN에서 1-립시츠 제약 조건을 효과적으로 강제할 수 있는가?
• RQ2 TV 정규화가 고학습률이나 균일한 네트워크 아키텍처에서 GP-WGAN의 학습 안정성을 향상시키는가?
• RQ3 제안된 방법이 GP-WGAN 및 BEGAN과 비교해 다양한 GAN 아키텍처에서 샘플 품질과 다양성을 유지하거나 향상시킬 수 있는가?
• RQ4 마진 인자 $ \delta $ 가 생성된 샘플의 다양성과 시각적 품질 간의 트레이드오프를 제어하는 데 얼마나 효과적인가?
• RQ5 TV-WGAN은 특히 학습률 감소 없이 장기 학습 중에 모드 붕괴를 피할 수 있는가, BEGAN과 비교해 볼 때?

주요 결과

• TV-WGAN은 모든 테스트 아키텍처와 학습률에서 GP-WGAN에 비해 뚜렷한 학습 안정성 향상을 보였으며, 기울기 폭주 현상이 관측되지 않았다.
• TV-WGAN의 인ception 스코어는 $ \delta=0 $ 시 4.12에서 $ \delta=10 $ 시 4.47로 상승하여, 높은 마진 값일수록 시각적 품질 향상과 분산 감소가 있음을 보여준다.
• TV-WGAN은 GP-WGAN(3.75)보다 높은 인ception 스코어를 기록했고, DCGAN과 BEGAN 수준에 가까워져 강력한 샘플 품질을 확보했다.
• 100 에포크 동안의 학습에서도 TV-WGAN는 모드 붕괴 없이 고품질 생성을 유지했으며, 학습률 감소 없이 학습한 BEGAN은 모드 붕괴를 경험했다.
• 이 방법은 DCGAN 유사 및 BEGAN 유사 아키텍처를 포함한 다양한 아키텍처에서 일관된 성능을 보였고, 아키텍처 수정 없이 적용 가능했다.
• 마진 인자 $ \delta $ 는 다양성과 품질 간의 균형 조절을 위한 제어 가능한 다이얼을 제공했으며, $ \delta $ 가 증가함에 따라 시각적 품질이 단조롭게 향상되었다.