[논문 리뷰] Balanced Training for Sparse GANs

Yite Wang, Jing Wu외 2명|arXiv (Cornell University)|2023. 02. 28.

Generative Adversarial Networks and Image Synthesis인용 수 6

한 줄 요약

이 논문은 GAN에서 생성자와 판별자 간의 균형을 모니터링하고 제어하기 위해 균형 비율(BR)을 도입한 균형 잡힌 동적 희소 학습 방법인 ADAPT를 제안한다. BR를 기반으로 실시간으로 판별자의 희소성을 동적으로 조정함으로써, ADAPT는 밀도 기반 기준 대비 34.42%의 학습 FLOPs로 감소시키면서도 최신 기술 수준의 FID 점수(예: BigGAN-CIFAR10에서 10.33)를 달성하여 효율적이고 안정적인 희소 GAN 학습을 가능하게 한다.

ABSTRACT

Over the past few years, there has been growing interest in developing larger and deeper neural networks, including deep generative models like generative adversarial networks (GANs). However, GANs typically come with high computational complexity, leading researchers to explore methods for reducing the training and inference costs. One such approach gaining popularity in supervised learning is dynamic sparse training (DST), which maintains good performance while enjoying excellent training efficiency. Despite its potential benefits, applying DST to GANs presents challenges due to the adversarial nature of the training process. In this paper, we propose a novel metric called the balance ratio (BR) to study the balance between the sparse generator and discriminator. We also introduce a new method called balanced dynamic sparse training (ADAPT), which seeks to control the BR during GAN training to achieve a good trade-off between performance and computational cost. Our proposed method shows promising results on multiple datasets, demonstrating its effectiveness.

연구 동기 및 목표

• 동적 희소 학습에서 GAN의 불안정성과 균형 붕괴 문제를 해결하기 위해, 학습 과정에서 생성자와 판별자가 자주 균형을 잃는 상황을 다루는 것.
• 희소 생성자와 판별자 간의 균형을 측정할 수 있는 정량적 지표를 개발하여 실시간 모니터링과 제어를 가능하게 하는 것.
• 학습 중에 판별자의 희소성을 동적으로 조정함으로써 최적의 균형을 유지하고 학습 효율성 및 성능을 향상시키는 방법을 제안하는 것.
• 희소 GAN 학습에서 FID 성능과 계산 비용 사이의 유리한 트레이드오프를 달성하는 것.

제안 방법

• 희소 GAN에서 생성자와 판별자의 상대적 강도를 정량화하는 새로운 지표인 균형 비율(BR)을 도입한다.
• BR를 실시간 지표로 활용하여, 모드 붕괴나 과적합과 같은 상황에서의 학습 불균형을 탐지하고 완화한다.
• BR 피드백에 기반해 학습 중에 판별자의 희소성과 연결 구조를 동적으로 조정하는 ADAPT(Balanced Dynamic Sparse Training)를 제안한다.
• 계산 오버헤드가 극히 적은 수준에서 정기적으로 BR을 계산하며, 이를 희소한 빈도로 계산한다고 가정한다.
• CIFAR-10과 TinyImageNet에서 SNGAN 및 BigGAN 아키텍처에 ADAPT를 적용하고, 생성자와 판별자의 희소성 수준을 제어한다.
• ABlation 연구와 기준 방법(예: Static-Balance, SDST, RigL)과의 비교를 통해 BR과 ADAPT의 유효성을 검증한다.

실험 결과

연구 질문

• RQ1 GAN 학습 중에 희소 생성자와 희소 판별자 간의 균형을 어떻게 정량적으로 측정할 수 있는가?
• RQ2 희소 GAN에서 학습 실패나 붕괴가 발생하는 원인은 무엇이며, 균형 비율은 이러한 실패 모드를 식별하는 데 도움이 될 수 있는가?
• RQ3 균형 비율을 사용해 판별자의 희소성을 실시간으로 모니터링하고 조정하면 희소 GAN 학습이 안정화되는가?
• RQ4 ADAPT는 기존의 희소 학습 방법에 비해 GAN에서 더 나은 성능-비용 트레이드오프를 달성하는가?

주요 결과

• ADAPT는 BigGAN-CIFAR10에서 최신 기술 수준의 FID 점수 10.33을 기록했고, SNGAN-CIFAR10에서는 14.80을 달성하여 모든 기준 방법을 압도한다.
• BigGAN-CIFAR10 데이터셋에서 ADAPT(strict)는 밀도 기반 기준 대비 34.42%의 FLOPs로 FID 10.33을 달성하여 계산 비용을 크게 감소시켰다.
• SNGAN-CIFAR10에서 생성자 밀도 10% 조건에서 ADAPT는 밀도 기반 기준 대비 FLOPs를 24.23%로 줄였고, 경쟁 가능한 FID 성능을 유지했다.
• 균형 비율(BR)은 특히 판별자가 너무 강력할 경우 모드 붕괴나 과적합과 같은 학습 불안정성을 효과적으로 식별하는 데 유용하다.
• ADAPT는 다양한 데이터셋과 희소성 수준에서 정적 프루닝 기반 방법(예: Static-Balance, Static-Strong)과 동적 방법(예: SDST, RigL)을 모두 초월하여 일관되게 뛰어난 성능을 보였다.
• ADAPT는 다양한 생성자 및 판별자 희소성 설정에서도 강건성을 보이며, BigGAN-CIFAR10에서 생성자 밀도 30% 조건에서 ADAPT(strict)는 FID 14.92를 기록했다.