[논문 리뷰] Taming GANs with Lookahead-Minmax

Tatjana Chavdarova, Matteo Pagliardini외 3명|arXiv (Cornell University)|2020. 06. 25.

Generative Adversarial Networks and Image Synthesis참고 문헌 63인용 수 4

한 줄 요약

이 논문은 Lookahead–minmax를 소개한다. 이는 Lookahead 알고리즘을 minmax 문제로 확장하여 생성적 적대적 네트워크(GANs)를 훈련시키기 위한 새로운 최적화 방법이다. 공동 파rameter 공간에서의 백트래킹 단계를 통합함으로써, 회전 운동역학과 고분산 기울기 문제를 효과적으로 완화하여 계산 비용을 크게 줄인 채 안정적인 훈련을 가능하게 한다. 이 방법은 BigGAN보다 30배 적은 파라미터와 16배 작은 미니배치를 사용하여 CIFAR-10에서 12.19의 최고 성능(FID)을 달성하며, 클래스 레이블이나 대규모 자원을 요구하지 않아도 이전의 방법들을 능가한다.

ABSTRACT

Generative Adversarial Networks are notoriously challenging to train. The underlying minmax optimization is highly susceptible to the variance of the stochastic gradient and the rotational component of the associated game vector field. To tackle these challenges, we propose the Lookahead algorithm for minmax optimization, originally developed for single objective minimization only. The backtracking step of our Lookahead-minmax naturally handles the rotational game dynamics, a property which was identified to be key for enabling gradient ascent descent methods to converge on challenging examples often analyzed in the literature. Moreover, it implicitly handles high variance without using large mini-batches, known to be essential for reaching state of the art performance. Experimental results on MNIST, SVHN, CIFAR-10, and ImageNet demonstrate a clear advantage of combining Lookahead-minmax with Adam or extragradient, in terms of performance and improved stability, for negligible memory and computational cost. Using 30-fold fewer parameters and 16-fold smaller minibatches we outperform the reported performance of the class-dependent BigGAN on CIFAR-10 by obtaining FID of 12.19 without using the class labels, bringing state-of-the-art GAN training within reach of common computational resources.

연구 동기 및 목표

• 게임 벡터 필드의 회전 성분으로 인해 발생하는 GAN 훈련의 불안정성과 고분산 문제를 해결하기 위해.
• 원래 단일 목표 최소화를 위한 것으로 개발된 Lookahead 알고리즘을 GAN의 minmax 최적화로 확장하기 위해.
• 표준 하드웨어에서도 사용 가능한 상태에서 계산 및 메모리 오버헤드를 줄여 고성능 GAN 훈련을 가능하게 하기 위해.
• 실증적으로 Lookahead–minmax가 게임 벡터 필드의 회전 운동역학을 억제하고, 전체 배치 및 스트로스틱 설정 모두에서 수렴성을 향상시킴을 검증하기 위해.
• 기존 최고 성능(SOTA) 방법들과 비교해 더 작은 모델과 미니배치로도 초우수한 FID 및 인ception 스코어를 달성할 수 있음을 보여주기 위해.

제안 방법

• 기본 최적화기(예: Adam 또는 Extrapolation)를 사용해 빠른 가중치를 갱신하는 내부 루프와, 공동 파arameter 공간에서 느린 가중치를 갱신하는 백트래킹 단계를 포함하는 이중 단계 최적화인 Lookahead–minmax를 제안한다.
• 빠른 가중치 갱신의 시퀀스를 앞서 보는 룩어헤드 단계를 도입하여 훈련을 안정화하고 게임의 회전 운동역학을 억제한다.
• 이중선형 게임 모델을 사용해 이론적으로 본 방법이 표준 GDA가 실패하는 상황, 특히 벡터 필드의 자코비안에 반대칭(회전) 성분이 존재할 경우에도 수렴 가능함을 정당화한다.
• 최종 모델 추론을 위해 느린 가중치에 대해 지수이동평균(EMA)을 적용하여 일반화 성능과 FID 성능을 향상시킨다.
• 표준 GAN 훈련 프로토콜을 사용해 MNIST, SVHN, CIFAR-10, ImageNet에서 DCGAN 및 ResNet 아키텍처에 본 방법을 적용한다.
• 가격 함수의 자코비안에 대한 새로운 분석을 통해 Lookahead–minmax 하에서 수렴 시, 균형 상태에서 게임 벡터 필드의 회전 성분이 감소함을 보여주어 이론적 주장에 기반함을 확인한다.

실험 결과

연구 질문

• RQ1 원래 단일 목표 최소화를 위한 것으로 설계된 Lookahead 알고리즘이 GAN의 minmax 최적화로 성공적으로 확장될 수 있는가?
• RQ2 Lookahead–minmax의 백트래킹 메커니즘이 GAN 훈련에서 발산 원인이 되는 게임 벡터 필드의 회전 운동역학을 효과적으로 억제하는가?
• RQ3 Lookahead–minmax는 BigGAN보다 훨씬 작은 모델 크기와 미니배치 크기로도 CIFAR-10에서 최고 성능(FID)을 달성할 수 있는가?
• RQ4 Lookahead–minmax는 Adam 또는 Extrapolation과 함께 사용했을 때 전체 배치 및 스트로스틱 설정 모두에서 훈련 안정성과 수렴성을 향상시키는가?
• RQ5 이론적 분석에서 제안한 바와 같이, 성능 향상은 분산 감소와 회전 성분 억제 덕분인가?

주요 결과

• CIFAR-10에서 AltGAN과 Adam을 사용한 Lookahead–minmax는 지수이동평균을 적용해 FID 13.98을 달성했으며, 베이스라인 AltGAN(21.37 FID)을 크게 능가하고 더 복잡한 모델들과도 맞먹거나 뛰어넘는 성능을 보였다.
• 클래스 레이블을 사용하지 않고도, BigGAN의 파라미터 수의 1/30과 미니배치 크기의 1/16만으로 CIFAR-10에서 최고 성능(FID 12.19)을 달성했다.
• SVHN에서는 LA–ExtraGrad가 32×32 ImageNet 모델을 사용해 FID 2.94를 기록했으며, 자원이 제한된 조건에서도 뛰어난 성능을 보였다.
• MNIST에서는 LA–AltGAN이 기존 베이스라인 대비 near-perfect FID 0.053(베이스라인: 0.094)을 달성해 뛰어난 안정성과 수렴성을 입증했다.
• 자코비안 분석 결과, 수렴 상태에서 Lookahead–minmax가 게임 벡터 필드의 반대칭(회전) 성분을 감소시킴을 확인하여 이론적 주장에 대한 지지를 받았다.
• 실증 결과는 모든 데이터셋과 모델에서 일관된 향상이 있었으며, 각 룩어헤드 단계 이후 FID가 감소함을 보여, 이 방법이 훈련 안정화에 효과적이라는 것을 확인했다.