[논문 리뷰] Regularization And Normalization For Generative Adversarial Networks: A Review

Ziqiang Li, Rentuo Tao외 1명|arXiv (Cornell University)|2020. 08. 19.

Image Processing Techniques and Applications인용 수 3

한 줄 요약

이 논문은 생성적 적대적 네트워크(GANs)에서 정규화 및 노멀라이제이션 기법을 검토하며, 이를 여섯 가지 그룹으로 분류한다: 기울기 페널티, 노름 정규화, 자코비안 정규화, 레이어 정규화, 일致성 정규화, 그리고 자기지도 학습. 이러한 방법들이 GAN의 훈련 안정성 향상, 모드 붕괴 완화, 수렴성 향상에 어떻게 기여하는지 종합적으로 분석한다.

ABSTRACT

Generative adversarial networks(GANs) is a popular generative model. With the development of the deep network, its application is more and more widely. By now, people think that the training of GANs is a two-person zero-sum game(discriminator and generator). The lack of strong supervision information makes the training very difficult, such as non-convergence, mode collapses, gradient disappearance, and the sensitivity of hyperparameters. As we all know, regularization and normalization are commonly used for stability training. This paper reviews and summarizes the research in the regularization and normalization for GAN. All the methods are classified into six groups: Gradient penalty, Norm normalization and regularization, Jacobian regularization, Layer normalization, Consistency regularization, and Self-supervision.

연구 동기 및 목표

• 강한 감독 신호가 부족하여 발생하는 GAN 훈련의 본질적 불안정성 문제를 해결하기 위해.
• GAN 훈련 안정성을 향상시키는 정규화 및 노멀라이제이션 기법을 식별하고 분류하기 위해.
• 모드 붕괴 및 기울기 소멸과 같은 일반적인 GAN 실패 유형을 완화하는 데에 각 기법의 효과를 분석하기 위해.
• GAN을 위한 여섯 가지 주요 정규화 및 노멀라이제이션 기법 카테고리에 대한 체계적인 개요를 제공하기 위해.

제안 방법

• 기존의 정규화 및 노멀라이제이션 방법들을 여섯 가지 명확한 카테고리로 분류하기: 기울기 페널티, 노름 정규화 및 정규화, 자코비안 정규화, 레이어 정규화, 일치성 정규화, 자기지도 학습.
• 각 기법의 기계적 메커니즘이 생성자 및 판별자 훈련 역학을 안정화하는 데 어떻게 기여하는지 분석하기.
• 손실 표면의 매끄러움, 기울기 흐름, 일반화 능력에 미치는 영향을 기반으로 기법 평가하기.
• 기울기 페널티가 모드 붕괴를 방지하기 위해 리프시츠 조건을 강제하는 역할을 한다는 점을 부각하기.
• 레이어 정규화와 일치성 정규화가 특징 표현 향상과 훈련의 강건성 향상에 어떻게 기여하는지 고찰하기.
• 라벨가 없는 데이터를 사용하여 약한 감독 신호를 주입할 수 있는 자기지도 학습의 가능성을 탐색하기.

실험 결과

연구 질문

• RQ1 다양한 정규화 및 노멀라이제이션 기법은 GAN 훈련의 안정성을 어떻게 향상시키는가?
• RQ2 기울기 페널티가 다른 정규화 기법들에 비해 모드 붕괴를 방지하는 데에 얼마나 효과적인가?
• RQ3 레이어 정규화와 같은 정규화 기법은 GAN에서 훈련 수렴성을 어떻게 향상시키는가?
• RQ4 제한된 감독 환경 하에서 일치성 정규화는 GAN의 강건성에 어떻게 기여하는가?
• RQ5 자기지도 학습은 명시적인 라벨 없이 GAN 성능을 향상시키는 데에 어떤 역할을 하는가?

주요 결과

• 기울기 페널티는 판별자에 대해 리프시츠 조건을 강제하여 훈련을 효과적으로 안정화시키며, 모드 붕괴를 감소시킨다.
• 노름 정규화 및 정규화 기법들은 기울기 흐름 향상과 깊은 GAN 아키텍처 내에서 내부 분포 변화를 줄여준다.
• 자코비안 정규화는 입력의 변형에 따른 판별자 출력의 급격한 변화를 방지하기 위해 페널티를 적용함으로써 훈련 안정성을 향상시킨다.
• 레이어 정규화는 각 미니배치 내에서 채널별 특징을 정규화함으로써 훈련 안정성을 향상시킨다.
• 일致성 정규화는 입력에 작은 변형을 가했을 때도 판별자가 일관된 출력을 내도록 유도함으로써 일반화 능력을 향상시킨다.
• 자기지도 학습은 라벨 데이터가 필요 없이도 훈련 역학을 향상시키는 유용한 인덕티브 바이어스를 제공한다.