[논문 리뷰] Spectral Normalization for Generative Adversarial Networks

Takeru Miyato, Toshiki Kataoka외 2명|arXiv (Cornell University)|2018. 02. 16.

Generative Adversarial Networks and Image Synthesis참고 문헌 24인용 수 2,304

한 줄 요약

스펙트럼 정규화를 도입하여 각 층의 스펙트럼 놈을 제약함으로써 GAN 학습을 안정화시키고 CIFAR-10, STL-10, ImageNet과 같은 데이터셋에서 견고한 성능을 도출합니다. SN-GAN은 간단한 통합과 낮은 오버헤드로 경쟁력 있거나 더 우수한 이미지 품질을 달성합니다.

ABSTRACT

One of the challenges in the study of generative adversarial networks is the instability of its training. In this paper, we propose a novel weight normalization technique called spectral normalization to stabilize the training of the discriminator. Our new normalization technique is computationally light and easy to incorporate into existing implementations. We tested the efficacy of spectral normalization on CIFAR10, STL-10, and ILSVRC2012 dataset, and we experimentally confirmed that spectrally normalized GANs (SN-GANs) is capable of generating images of better or equal quality relative to the previous training stabilization techniques.

연구 동기 및 목표

• 판별자를 제약함으로써 GAN 학습의 불안정성을 동기 부여하고 해결합니다.
• 레이어의 스펙트럼 놈을 1로 설정하여 판별자의 Lipschitz 상수를 한정하는 경량 정규화를 제안합니다.
• 다양한 데이터셋에서 스펙트럼 정규화(SN)의 효능을 입증하고 기존 정규화 기법과 비교합니다.

제안 방법

• 판별자를 선형 층과 비선형 함수의 합성으로 정의하고; Lipschitz 상수를 각 가중치 행렬 W를 그 스펙트럼 놈으로 정규화하여 제약합니다: W_bar_SN = W / sigma(W).
• 연산의 경량화를 위해 power iteration 방법으로 sigma(W)를 효율적으로 추정합니다.
• 스펙트럼 정규화 하에서의 그래디언트 흐름을 분석하여 지배적 특이 구성요소에 대한 적응적 정규화 효과를 보입니다.
• 이론적으로 그리고 실험적으로 SN을 가중치 정규화, 가중치 클리핑, 그래디언트 페널티, 직교 정규화와 비교합니다.
• 표준 GAN 목표와 hinge loss 변형을 사용하여 CIFAR-10, STL-10, ImageNet에서 SN-GAN을 평가합니다; Inception Score와 FID를 평가 지표로 보고합니다.

실험 결과

연구 질문

• RQ1 스펙트럼 정규화가 과도한 계산 비용 없이도 판별자의 Lipschitz 상수를 신뢰성 있게 한정합니까?
• RQ2 이미지 품질과 학습 안정성 측면에서 SN은 다른 정규화 기법들(가중치 정규화, 가중치 클리핑, 그래디언트 페널티, 직교 정규화)과 어떻게 비교됩니까?
• RQ3 SN은 다양한 아키텍처와 데이터셋(CIFAR-10, STL-10, ImageNet) 및 서로 다른 최적화 설정에서도 견고합니까?
• RQ4 스펙트럼 정규화가 판별자의 가중치 스펙트럼과 특징 활용에 미치는 영향은 무엇입니까?

주요 결과

• SN은 각 층의 스펙트럼 놈을 정규화함으로써 판별자의 Lipschitz 상수를 한정하고, 경사도를 제한적으로 유지하며 안정성을 향상시킵니다.
• 실험 결과 SN-GAN이 CIFAR-10, STL-10, ImageNet 전반에서 이전의 안정화 방식과 비교하여 더 높거나 동등한 이미지 품질을 달성하며, 종종 더 빠르거나 유사한 학습 시간을 보입니다.
• 스펙트럼 정규화는 가중치 클리핑/정규화에 비해 층의 특이값을 더 넓게 분포시키며, 초기 층에서 더 풍부한 특징 활용을 나타냅니다.
• SN-GAN은 공격적인 학습률과 모멘텀 설정에 대한 강건성을 보이며, 여러 설정에서 WGAN-GP를 능가합니다.
• 직교 정규화와 비교하여 SN-GAN은 다양한 피처 맵 차원과 아키텍처에서도 성능을 유지하여 더 큰 구조적 강건성을 나타냅니다.