[논문 리뷰] Lipizzaner: A System That Scales Robust Generative Adversarial Network Training

Tom Schmiedlechner, Ignavier Ng Zhi Yong외 3명|arXiv (Cornell University)|2018. 11. 30.

Generative Adversarial Networks and Image Synthesis참고 문헌 15인용 수 11

한 줄 요약

Lipizzaner는 공간적 공진화 알고리즘을 사용하여 이중 적응형 생성자 및 판별자 집단을 갖춘 분산형 오픈소스 시스템으로, AWS 클러스터에서 선형 통신 스케일링과 함께 강력한 GAN 훈련을 스케일링합니다. 격자 기반의 통신 구조와 이웃 기반 모델 교환을 통한 국소 훈련을 통해 모드 및 판별자 붕괴를 효과적으로 방지하며, 더 큰 격자 크기에서 향상된 생성 성능를 달성합니다.

ABSTRACT

GANs are difficult to train due to convergence pathologies such as mode and discriminator collapse. We introduce Lipizzaner, an open source software system that allows machine learning engineers to train GANs in a distributed and robust way. Lipizzaner distributes a competitive coevolutionary algorithm which, by virtue of dual, adapting, generator and discriminator populations, is robust to collapses. The algorithm is well suited to efficient distribution because it uses a spatial grid abstraction. Training is local to each cell and strong intermediate training results are exchanged among overlapping neighborhoods allowing high performing solutions to propagate and improve with more rounds of training. Experiments on common image datasets overcome critical collapses. Communication overhead scales linearly when increasing the number of compute instances and we observe that increasing scale leads to improved model performance.

연구 동기 및 목표

• 스케일러블하고 분산된 시스템을 통해 GAN 훈련에서 지속적인 모드 및 판별자 붕괴 문제를 해결하기 위해.
• 경쟁적 공진화 알고리즘과 공간 격자 추상화를 통합하여 강력하고 고성능의 GAN 훈련을 가능하게 하기 위해.
• 분산 훈련 환경에서 격자 크기의 영향을 GAN 성능 및 확장성에 대해 평가하기 위해.
• 분산 인스턴스 간 효율적인 비동기 데이터 교환을 통해 선형 통신 스케일링과 단축된 월클록 훈련 시간을 달성하기 위해.

제안 방법

• 각 셀이 로컬 GAN 쌍(생성자 및 판별자)을 호스팅하는 공간 격자 추상화를 사용하여 국소 훈련 및 통신을 가능하게 합니다.
• 이웃 셀의 상대적 적합도에 기반해 적응적으로 진화하는 생성자 및 판별자 집단을 포함하는 이중 집단 공진화 프레임워크를 사용합니다.
• 이웃 셀들은 비동기적으로 고성능 모델을 교환하여 중앙 집중식 조율 없이도 우수한 솔루션의 전파를 촉진합니다.
• 신경망 파라미터 업데이트에는 확률적 경사 하강법을 사용하고, 하이퍼파ram터 적응에는 가우시안 기반 변형을 사용합니다.
• 겹치는 이웃 구조와 가상 오버레이 네트워크를 통해 통신을 최적화하여 피크 네트워크 부하를 감소시키고 인스턴스 수에 따라 선형 스케일링을 가능하게 합니다.
• 시스템은 AWS에서 Docker 컨테이너와 GPU 인스턴스를 사용하여 분산 훈련을 위한 오픈소스 소프트웨어로 구현되었습니다.

실험 결과

연구 질문

• RQ1 분산 공진화 프레임워크가 GAN 훈련에서 모드 및 판별자 붕괴를 효과적으로 방지할 수 있는가?
• RQ2 공간 격자 크기를 증가시키면 GAN에서 생성된 샘플의 다양성과 품질에 어떤 영향을 미치는가?
• RQ3 통신 오버헤드가 분산 훈련 인스턴스 수에 따라 선형으로 증가하는가?
• RQ4 효율적인 병렬 처리와 비동기 통신을 통해 더 빠른 월클록 훈련 시간을 달성할 수 있는가?
• RQ5 격자 기반 모델 교환은 GAN 훈련의 수렴성과 안정성에 어떤 영향을 미치는가?

주요 결과

• MNIST에서 더 큰 격자 크기(최대 12×12)는 총 변동 거리(TVD)를 크게 감소시켜 샘플 다양성과 분포 커버리지 향상을 나타냈습니다.
• MNIST에서 12×12 격자는 생성된 이미지의 클래스 분포가 가장 균일했으며, 더 작은 격자 및 단일 인스턴스 훈련을 초월했습니다.
• CelebA에서 4×4 격자는 Fréchet Inception Distance(FID) 30.59±1.03를 기록하여 더 작은 격자와 유의미한 성능 차이 없이 안정성을 유지함을 보여주었습니다.
• AWS에서 반복 훈련 시간은 인스턴스 수에 따라 거의 선형적으로 증가했으며, 기가비트 이더넷 기반 평균 클라이언트 간 통신 시간은 단지 0.5초였습니다.
• CelebA에서 최소 격자 크기(2×2)에서도 모드 및 판별자 붕괴를 성공적으로 방지하여 강건성을 입증했습니다.
• 비동기 통신 패턴은 네트워크 피크 부하를 감소시키고 분산 GPU 자원의 효율적 활용을 가능하게 했습니다.