[논문 리뷰] Spectral Regularization for Combating Mode Collapse in GANs

Kanglin Liu, Wenming Tang외 2명|arXiv (Cornell University)|2019. 08. 29.

Digital Media Forensic Detection참고 문헌 15인용 수 13

한 줄 요약

이 논문은 GAN에서 모드 붕괴를 막기 위해 고안된 새로운 방법인 스펙트럴 정규화(SR-GANs)를 제안한다. 이 방법은 판별기의 가중치 행렬에서 특이값의 붕괴인 스펙트럴 붕괴를 직접 타겟으로 삼는다. 스펙트럴 분포의 균형을 유지하기 위해 정규화를 적용함으로써, SR-GANs는 훈련을 안정화시키고, 스펙트럴 정규화(SN-GANs)를 능가하며, 다양한 아키텍처와 데이터셋—대규모 모델을 사용한 ImageNet 포함—에서 일관되게 모드 붕괴를 방지한다.

ABSTRACT

Despite excellent progress in recent years, mode collapse remains a major unsolved problem in generative adversarial networks (GANs).In this paper, we present spectral regularization for GANs (SR-GANs), a new and robust method for combating the mode collapse problem in GANs. Theoretical analysis shows that the optimal solution to the discriminator has a strong relationship to the spectral distributions of the weight matrix.Therefore, we monitor the spectral distribution in the discriminator of spectral normalized GANs (SN-GANs), and discover a phenomenon which we refer to as spectral collapse, where a large number of singular values of the weight matrices drop dramatically when mode collapse occurs. We show that there are strong evidence linking mode collapse to spectral collapse; and based on this link, we set out to tackle spectral collapse as a surrogate of mode collapse. We have developed a spectral regularization method where we compensate the spectral distributions of the weight matrices to prevent them from collapsing, which in turn successfully prevents mode collapse in GANs. We provide theoretical explanations for why SR-GANs are more stable and can provide better performances than SN-GANs. We also present extensive experimental results and analysis to show that SR-GANs not only always outperform SN-GANs but also always succeed in combating mode collapse where SN-GANs fail. The code is available at https://github.com/max-liu-112/SRGANs-Spectral-Regularization-GANs-.

연구 동기 및 목표

• 최신 모델인 BigGANs와 SN-GANs에서 나타나는 지속적인 모드 붕괴 문제를 해결하기 위해.
• 판별기의 가중치 행렬의 스펙트럴 성질을 분석함으로써 모드 붕괴의 근본 원인을 탐구하기 위해.
• 판별기 가중치의 스펙트럴 분포를 안정화시킴으로써 모드 붕괴를 방지할 수 있는 강력한 정규화 방법을 개발하기 위해.
• 스펙트럴 붕괴가 모드 붕괴의 핵심 전조임을 입증하고, 조기 탐지 및 방지를 위한 대체 신호로 사용될 수 있음을 보여주기 위해.
• 스펙트럴 정규화가 스펙트럴 정규화를 넘어서 훈련 안정성과 생성 성능을 향상시킬 수 있음을 보여주기 위해.

제안 방법

• 이 방법은 판별기의 가중치 행렬의 스펙트럴 분포를 모니터링하고 보완함으로써 특이값 붕괴를 방지하는 스펙트럴 정규화를 도입한다.
• 모든 레이어에 걸쳐 특이값의 균형 잡힌 분포를 유지하기 위해 스펙트럴 정규화를 확장하고 정규화 항을 추가한다.
• 많은 수의 특이값이 1에 가까워지도록 정규화를 강제함으로써, 이는 이론적으로 최적의 리프시츠 제약과 관련이 있다.
• 이론적 분석을 통해 특이값이 모두 정확히 1일 때에만 리프시츠 제약의 Supremum이 달성됨을 확인함으로써, 스펙트럴 정규화의 기초를 확립한다.
• 이 방법은 훈련 중에 적용되며, BigGANs와 SN-GANs에서 사용되는 기존 GAN 아키텍처와 호환된다.
• 특히 대규모 ImageNet 훈련에서 계산 비용을 줄이기 위해 그래디언트 누적 기법을 사용한다.

실험 결과

연구 질문

• RQ1 판별기의 가중치 행렬에서의 스펙트럴 붕괴와 GAN에서의 모드 붕괴 발생 사이에 강력하고 일관된 상관관계가 존재하는가?
• RQ2 스펙트럴 붕괴를 방지하는 것이 모드 붕괴 방지를 위한 효과적인 대체 신호로 기능할 수 있는가?
• RQ3 다양한 데이터셋과 모델 규모에서 스펙트럴 정규화가 스펙트럴 정규화와 비교해 안정성과 성능 면에서 어떻게 다른가?
• RQ4 스펙트럴 정규화는 특히 대규모 설정에서 SN-GANs에 비해 Inception Score와 FID 지표를 향상시키는가?
• RQ5 스펙트럴 정규화는 고배치 크기나 복잡한 데이터 분포 조건에서도 SN-GANs가 실패하는 상황에서도 일관되게 모드 붕괴를 방지할 수 있는가?

주요 결과

• 스펙트럴 붕괴—판별기의 가중치 행렬에서 큰 특이값의 수가 급격히 감소하는 현상—는 평가된 모든 모델과 데이터셋에서 SN-GANs에서 모드 붕괴와 항상 함께 발생한다.
• 이론적 분석을 통해 최적의 1-리프시츠 제약은 가중치 행렬의 모든 특이값이 정확히 1일 때에만 달성됨을 확인함으로써, 스펙트럴 정규화의 이론적 기초를 확립한다.
• SR-GANs는 CIFAR-10, STL-10, ImageNet에서 모두 SN-GANs를 일관되게 능가하며 Inception Score와 FID 양면에서 성능 향상을 보인다.
• E_{2048-64} 설정을 사용한 ImageNet에서, SR-GANs는 10만 반복 동안 안정적인 성능 향상을 보였고, SN-GANs는 4만 번째 반복부터 모드 붕괴를 경험한다.
• 모든 테스트 설정에서 SR-GANs는 SN-GANs가 실패하는 상황에서도 모드 붕괴를 성공적으로 방지하며, 다양한 훈련 설정에서의 강건성을 입증한다.
• 스펙트럴 정규화 방법은 특히 고배치 크기나 복잡한 데이터 분포 조건에서 스펙트럴 정규화만으로는 실패하는 경우에도 효과적으로 작용한다.