[논문 리뷰] Why Spectral Normalization Stabilizes GANs: Analysis and Improvements

Zinan Lin, Vyas Sekar외 1명|arXiv (Cornell University)|2020. 09. 06.

Adversarial Robustness in Machine Learning참고 문헌 39인용 수 28

한 줄 요약

이 논문은 GAN에서 스펙트럴 정규화(SN)의 이론적 분석을 제공하며, 기울기 폭주와 기울기 소실을 동시에 제어함으로써 훈련을 안정화시킨다는 것을 밝혀낸다. 이러한 통찰을 바탕으로 저자들은 양방향 스케일드 스펙트럴 정규화(BSSN)를 제안하며, Xavier 및 Kaiming 가중치 초기화 원리를 통합함으로써 기울기 제어를 향상시켜, CIFAR10, STL10, CelebA 및 ImageNet에서 표준 SN보다 뛰어난 샘플 품질과 훈련 안정성을 달성한다.

ABSTRACT

Spectral normalization (SN) is a widely-used technique for improving the stability and sample quality of Generative Adversarial Networks (GANs). However, there is currently limited understanding of why SN is effective. In this work, we show that SN controls two important failure modes of GAN training: exploding and vanishing gradients. Our proofs illustrate a (perhaps unintentional) connection with the successful LeCun initialization. This connection helps to explain why the most popular implementation of SN for GANs requires no hyper-parameter tuning, whereas stricter implementations of SN have poor empirical performance out-of-the-box. Unlike LeCun initialization which only controls gradient vanishing at the beginning of training, SN preserves this property throughout training. Building on this theoretical understanding, we propose a new spectral normalization technique: Bidirectional Scaled Spectral Normalization (BSSN), which incorporates insights from later improvements to LeCun initialization: Xavier initialization and Kaiming initialization. Theoretically, we show that BSSN gives better gradient control than SN. Empirically, we demonstrate that it outperforms SN in sample quality and training stability on several benchmark datasets.

연구 동기 및 목표

• 스펙트럴 정규화가 GAN 훈련을 안정화시키는 데 성공하는 이론적 메커니즘을 이해하는 것.
• 인기 있는 SN 구현 방식(Miyato 등, 2018)이 초깃값 조정 없이도 작동하는 이유와, 더 엄격한 변형이 초깃값 조정 없이 실패하는 이유를 밝혀내는 것.
• 현대적인 가중치 초기화 기법(예: Xavier 및 Kaiming 초기화)의 통찰을 통합하여 SN을 개선하는 것.
• 기울기 제어를 향상시켜 훈련 전반에 걸쳐 안정적인 기울기 흐름을 유지하는 새로운 정규화 방법을 개발하고 검증하는 것.
• 여러 벤치마크에서 제안된 방법이 표준 SN보다 샘플 품질과 훈련 안정성 측면에서 뛰어나다는 것을 경험적으로 입증하는 것.

제안 방법

• 이론적 분석을 통해 SN이 각 레이어의 스펙트럴 노름을 제한함으로써 디스crimิน레이터의 리프시츠 상수를 제어하고, GAN 훈련 중 기울기 폭주를 억제함을 보여준다.
• 논문은 SN과 LeCun 초기화 간의 연결 고리를 설정하며, SN이 초깃값에만 적용되는 LeCun 초기화와 달리 훈련 전반에 걸쳐 기울기 분산 제어를 유지함을 밝힌다.
• 양방향 스케일드 스펙트럴 정규화(BSSN)를 제안하며, Xavier 초기화에서 영감을 얻은 이중 방향 정규화를 도입해 전방 및 역방향 기울기 분산을 모두 제어한다.
• 심층 네트워크에서 기울기 역학을 향상시키기 위해 Kaiming 초기화 기반의 스케일링 메커니즘을 통합한다.
• 정규화를 생성기 및 디스crim인레이터 가중치 모두에 적용하며, 백프로파게이션 중 안정적인 기울기 흐름을 유지하는 적응형 스케일링을 구현한다.
• 표준 SN과의 비교를 위해 여러 데이터셋에서 표준 평가 지표(Inception Score 및 FID)를 사용한 실험을 수행한다.

실험 결과

연구 질문

• RQ1 스펙트럴 정규화가 이론적 이해가 제한된 상태에서도 GAN 훈련을 효과적으로 안정화시키는 이유는 무엇인가?
• RQ2 스펙트럴 정규화는 적대적 훈련 중 기울기 폭주와 기울기 소실을 어떻게 방지하는가?
• RQ3 널리 사용되는 SN 구현 방식(Miyato 등, 2018)이 초깃값 조정 없이도 작동하는 이유는 무엇이며, 더 엄격한 변형은 왜 조정 없이 실패하는가?
• RQ4 현대적인 가중치 초기화 기법(Xavier 및 Kaiming)의 통찰을 바탕으로 스펙트럴 정규화를 향상시킬 수 있는가?
• RQ5 기울기 분산 제어를 더 잘하는 새로운 정규화 방법이 실질적으로 표준 스펙트럴 정규화를 능가하는가?

주요 결과

• 스펙트럴 정규화는 네트워크 레이어의 스펙트럴 노름을 제한함으로써 기울기 폭주와 기울기 소실을 동시에 제어하여 훈련 동역학을 안정화시킨다.
• 표준 SN 구현 방식(Miyato 등, 2018)의 성공은 LeCun 초기화와의 암묵적 일치 덕분이며, 이는 훈련 전반에 걸쳐 기울기 분산 제어를 유지하기 때문이다.
• 엄격한 SN 구현은 후기 훈련 단계에서 기울기 제어가 열악하여 초깃값 조정 없이 실패하지만, 표준 SN은 안정성을 유지한다.
• 양방향 스케일드 스펙트럴 정규화(BSSN)는 Xavier 및 Kaiming 초기화 원리를 통합함으로써 표준 SN보다 더 나은 기울기 제어를 달성한다.
• CIFAR10, STL10, CelebA 및 ImageNet에서 BSSN은 표준 SN보다 더 높은 Inception Score와 더 낮은 FID를 기록하여 샘플 품질과 훈련 안정성 향상을 입증한다.
• 최고의 BSSN 실행 결과로 ImageNet에서 Inception Score 13.63과 FID 70.88을 기록했으며, 이는 최고의 표준 SN 실행 결과(13.04, 69.12)를 초월하고, 스케일=1.0로 잘못 설정된 BSSN(2.07, 242.51)과는 현저히 높은 성능을 보였다.