[논문 리뷰] Training Generative Adversarial Networks by Solving Ordinary Differential Equations

Chongli Qin, Yan Wu외 5명|arXiv (Cornell University)|2020. 10. 28.

Generative Adversarial Networks and Image Synthesis참고 문헌 33인용 수 12

한 줄 요약

이 논문은 기존의 이산적 기울기 갱신에 의존하는 대신, GAN 훈련의 동역학을 뒷받침하는 연속시간 미분방정식(ODE)을 해결하여 생성적 적대적 네트워크(GANs)를 훈련시키는 방법을 제안한다. 고차수 ODE 해법기(예: 룬게쿠타)와 단순한 기울기 정규화 기법을 사용해 통합 오차를 제어함으로써, 적응형 최적화기(예: Adam)나 스펙트럼 정규화를 사용하지 않고도 안정적인 훈련을 달성하며, CIFAR-10과 ImageNet에서 강력한 기준 모델들을 능가하는 성능을 보인다.

ABSTRACT

The instability of Generative Adversarial Network (GAN) training has frequently been attributed to gradient descent. Consequently, recent methods have aimed to tailor the models and training procedures to stabilise the discrete updates. In contrast, we study the continuous-time dynamics induced by GAN training. Both theory and toy experiments suggest that these dynamics are in fact surprisingly stable. From this perspective, we hypothesise that instabilities in training GANs arise from the integration error in discretising the continuous dynamics. We experimentally verify that well-known ODE solvers (such as Runge-Kutta) can stabilise training - when combined with a regulariser that controls the integration error. Our approach represents a radical departure from previous methods which typically use adaptive optimisation and stabilisation techniques that constrain the functional space (e.g. Spectral Normalisation). Evaluation on CIFAR-10 and ImageNet shows that our method outperforms several strong baselines, demonstrating its efficacy.

연구 동기 및 목표

• GAN 훈련의 불안정성이 본질적인 역학보다는 기울기 갱신에서 발생하는 이산화 오차 때문인지 조사하는 것.
• GAN의 연속시간 역학이 본질적으로 안정적인지 확인하여, 낮은 통합 정확도가 불안정성의 원인임을 시사하는 것.
• 기본 ODE를 정확히 풀어 불안정성을 줄이는 훈련 방법을 개발하여, 복잡한 정규화나 적응형 최적화기의 의존도를 줄이는 것.
• 스펙트럼 정규화나 Adam을 사용하지 않고도 고차수 ODE 해법기가 GAN 수렴성과 성능을 향상시킬 수 있음을 보여주는 것.

제안 방법

• 저자들은 기울기 하강 갱신에서 무한소 시간 간격의 극한을 취함으로써 GAN 훈련을 연속 동역학 시스템으로 모델링한다.
• 손실 함수의 기울기를 기반으로 디스커미네이터 및 생성기 파라미터에 대한 연속시간 ODE 시스템을 유도한다.
• 이산적 갱신 대신 표준 고차수 ODE 해법기(예: 룬게쿠타(RK4))를 사용해 연속 동역학을 통합한다.
• 통합 오차를 제어하고 ODE 궤적의 큰 이탈을 방지하기 위해 기울기 정규화 기법을 도입한다.
• 스펙트럼 정규화나 Adam과 같은 적응형 최적화기를 피하고, 정확한 수치적 통합에 의존한다.
• 표준 평가 지표인 FID와 Inception Score를 사용해 CIFAR-10과 ImageNet에서 평가한다.

실험 결과

연구 질문

• RQ1 GAN 훈련의 불안정성은 본질적인 연속시간 역학보다는 기울기 갱신에서 발생하는 이산화 오차 때문인가?
• RQ2 스펙트럼 정규화나 Adam 같은 고급 최적화 기법 없이도 고차수 ODE 해법기가 GAN 훈련을 안정화시킬 수 있는가?
• RQ3 생성기 기울기에 대한 단순한 정규화 기법이 통합 오차를 효과적으로 제어하고 훈련 안정성을 향상시키는가?
• RQ4 스펙트럼 정규화나 다른 기능 공간 제약 없이도 GAN을 경쟁 가능한 성능으로 훈련시킬 수 있는가?

주요 결과

• RK4 해법기를 사용한 ODE-GAN은 CIFAR-10에서 FID 11.85 ± 0.21을 기록하여, SN-GAN과 WGAN-GP를 포함한 여러 강력한 기준 모델들을 능가한다.
• ImageNet 128×128에서 ODE-GAN은 FID 26.16 ± 0.75를 기록하여, 유사 조건에서의 SN-GAN과 WGAN-ALP를 초월한다.
• Adam이나 스펙트럼 정규화를 사용하지 않아도 경쟁 가능한 성능을 달성함으로써, 이러한 구성 요소들이 통합 오차가 제어될 경우 필수적이지 않음을 시사한다.
• 실험 결과에 따르면, 고차수 ODE 해법기를 사용할 경우 Adam과 스펙트럼 정규화가 수렴을 해칠 수 있으며, 이는 안정적 통합을 방해할 수 있음을 시사한다.
• 적절한 가정 하에 GAN의 연속 동역학은 안정적이며, 정확히 통합할 경우 회전 성분과 무관하게 수렴함을 확인하였다.
• 고차수 ODE 해법기의 사용은 노이즈가 있는 기울기 추정이 존재하더라도 더 나은 수렴과 향상된 샘플 품질을 이끌어낸다.