[논문 리뷰] On the Effects of Batch and Weight Normalization in Generative Adversarial Networks

Sitao Xiang, Hao Li|arXiv (Cornell University)|2017. 04. 13.

Generative Adversarial Networks and Image Synthesis참고 문헌 14인용 수 70

한 줄 요약

본 논문은 GAN에서 Batch Normalization과 제안된 Weight Normalization를 평가하고, 번역된 ReLU 기반 가중치-정규화 접근법을 도입하며, WN이 BN에 비해 DCGAN 유사 아키텍처에서 안정성과 재구성 품질을 개선한다는 것을 보여준다.

ABSTRACT

Generative adversarial networks (GANs) are highly effective unsupervised learning frameworks that can generate very sharp data, even for data such as images with complex, highly multimodal distributions. However GANs are known to be very hard to train, suffering from problems such as mode collapse and disturbing visual artifacts. Batch normalization (BN) techniques have been introduced to address the training. Though BN accelerates the training in the beginning, our experiments show that the use of BN can be unstable and negatively impact the quality of the trained model. The evaluation of BN and numerous other recent schemes for improving GAN training is hindered by the lack of an effective objective quality measure for GAN models. To address these issues, we first introduce a weight normalization (WN) approach for GAN training that significantly improves the stability, efficiency and the quality of the generated samples. To allow a methodical evaluation, we introduce squared Euclidean reconstruction error on a test set as a new objective measure, to assess training performance in terms of speed, stability, and quality of generated samples. Our experiments with a standard DCGAN architecture on commonly used datasets (CelebA, LSUN bedroom, and CIFAR-10) indicate that training using WN is generally superior to BN for GANs, achieving 10% lower mean squared loss for reconstruction and significantly better qualitative results than BN. We further demonstrate the stability of WN on a 21-layer ResNet trained with the CelebA data set. The code for this paper is available at https://github.com/stormraiser/gan-weightnorm-resnet

연구 동기 및 목표

• Batch Normalization이 GAN 학습의 안정성과 샘플 품질에 미치는 영향을 평가한다.
• GAN용 가중치 정규화 기반 훈련 변형을 제안하고 그 이점을 평가한다.
• GAN 학습 속도, 안정성 및 품질을 평가하기 위한 객관적 재구성 기반 지표를 도입한다.
• CelebA, LSUN, CIFAR-10 데이터셋에 걸친 DCGAN 아키텍처에서 이 아이디어를 입증한다.

제안 방법

• GAN 학습을 위한 수정된 Weight Normalization (WN) 기법을 도입하고 이를 Batch Normalization (BN)과 비교한다.
• 가중치 정규화 층 내에 번역된 ReLU (TReLU)를 정의하여 큰 평균 이동 없이 표현 능력을 보존한다.
• ||G(z)-x||^2를 최소화하는 잠재 코드 z를 찾기 위해 경사 하강법을 사용해 테스트 세트에서 객관적 재구성 손실을 제안한다.
• 최적화를 위해 RMSProp를 사용하고 CelebA, LSUN bedroom, CIFAR-10에서 DCGAN 유사 아키텍처로 실험하며 21-층 ResNet 실험도 수행한다.
• 최종 재구성 손실로 재구성 품질을 평가하고 반복에 따른 생성 샘플의 진화로 학습 안정성을 평가한다.

실험 결과

연구 질문

• RQ1 표준 벤치마크에서 Batch Normalization이 GAN 학습의 안정성과 샘플 품질을 개선하는가, 아니면 저해하는가?
• RQ2 GAN 학습에서 안정성 및 재구성 품질 측면에서 Weight Normalization 형식이 BN보다 우수한가?
• RQ3 재구성 기반 목표가 GAN 학습 진행 상황을 신뢰성 있게 모니터링하고 정성적 샘플 품질을 반영할 수 있는가?
• RQ4 제안된 WN 접근법이 더 깊은 아키텍처(예: ResNet) 및 다중 데이터셋에서 어떻게 성능을 발휘하는가?

주요 결과

• Weight Normalization은 vanilla 모델에 비해 약 10.5% 낮은 최종 재구성 손실을 달성한다.
• Weight Normalization은 Batch Normalization보다 더 안정적인 학습과 더 나은 재구성 품질을 제공한다.
• Batch Normalization은 불안정성 및 인공물을 유발할 수 있으며, 반면 일반 GAN은 일부 데이터셋에서 붕괴될 수 있다.
• Weight Normalization으로 학습된 21-레이어 ResNet GAN은 안정적으로 유지되고 다양하며 품질이 높은 샘플을 생성한다.
• BN은 초기 학습을 가속화하지만 장기 안정성 및 샘플 다양성은 WN에 비해 감소시킬 수 있다.
• WN은 BN보다 빠르고 안정적인 학습을 제공하며 비정규화 모델과 비교해 동등하거나 더 높은 샘플 품질을 보인다.