[논문 리뷰] A Decentralized Parallel Algorithm for Training Generative Adversarial Nets

Mingrui Liu, Wei Zhang외 5명|arXiv (Cornell University)|2019. 10. 28.

Human Pose and Action Recognition참고 문헌 101인용 수 34

한 줄 요약

본 논문은 비컨벡스-비컨벡스(min-max) GAN 문제를 다루는 그래디언트 기반의 분산 병렬 알고리즘(DPOSG)을 제시하며, 입증 가능한 비점근적 수렴을 보이고 중앙집중식 학습에 비해 실험적으로 속도향상을 보여준다.

ABSTRACT

Generative Adversarial Networks (GANs) are a powerful class of generative models in the deep learning community. Current practice on large-scale GAN training utilizes large models and distributed large-batch training strategies, and is implemented on deep learning frameworks (e.g., TensorFlow, PyTorch, etc.) designed in a centralized manner. In the centralized network topology, every worker needs to either directly communicate with the central node or indirectly communicate with all other workers in every iteration. However, when the network bandwidth is low or network latency is high, the performance would be significantly degraded. Despite recent progress on decentralized algorithms for training deep neural networks, it remains unclear whether it is possible to train GANs in a decentralized manner. The main difficulty lies at handling the nonconvex-nonconcave min-max optimization and the decentralized communication simultaneously. In this paper, we address this difficulty by designing the extbf{first gradient-based decentralized parallel algorithm} which allows workers to have multiple rounds of communications in one iteration and to update the discriminator and generator simultaneously, and this design makes it amenable for the convergence analysis of the proposed decentralized algorithm. Theoretically, our proposed decentralized algorithm is able to solve a class of non-convex non-concave min-max problems with provable non-asymptotic convergence to first-order stationary point. Experimental results on GANs demonstrate the effectiveness of the proposed algorithm.

연구 동기 및 목표

• 대규모 저대역폭 또는 높은 지연 네트워크에서의 중앙집중 GAN 학습의 병목 현상을 동기부여하고 해결한다.
• 비컨벡스-비컨벡스 min-max GAN 문제를 위한 그래디언트 기반의 분산 병렬 알고리즘을 제시한다.
• 표준 가정하에서 비점근적 수렴보장을 제공하고 통신 효율성을 분석한다.
• 분산 통신에서 GAN 벤치마크에 대한 경험적 속도향상을 시연한다.
• 다중 로컬 통신과 동시 업데이트가 수렴성과 확장성에 어떻게 기여하는지 탐구한다.

제안 방법

• 생성자와 판별기에 대해 동시 업데이트를 갖는 분산 병렬 옵티스틱틱 확률적 그래디언트(DPOSG) 알고리즘을 설계한다.
• 반복마다 다수의 이웃 간 로컬 통신 라운드를 허용하고 토폴로지를 모델링하기 위해 이중 확률 혼합 행렬 W를 사용한다.
• 두 업데이트 시퀀스와 로컬 평균화를 t 라운드에 걸쳐 확장한 분산 설정에 맞춰 업데이트 규칙을 구성한다.
• 표준 가정하에서 ε-첫 번째 차수 정지점으로의 비점근적 수렴을 입증하는 이론적 분석을 제공한다.
• 실질 성능을 개선하기 위해 유효 스펙트럼 간격을 줄이는 무작위 혼합 전략을 도입한다.
• Adam 변형(DP-OAdam, Rand-DP-OAdam)을 실험하고 WGAN-GP/CIFAR-10 및 Self-Attention GAN/ImageNet에서 중앙집중식 CP-OAdam과 비교한다.

실험 결과

연구 질문

• RQ1 중앙 매개변수 서버 없이 GAN 학습을 분산 네트워크에서 효과적으로 수행할 수 있는가?
• RQ2 그래디언트 기반 분산 알고리즘이 비정점-비컨벡스 min-max GAN 목적함수에 대해 비점근적으로 일차 정지점으로 수렴하는가?
• RQ3 분산 GAN 최적화의 통신 및 계산 복잡성은 중앙집중식 접근과 비교하여 어떤가?
• RQ4 무작위 혼합을 갖는 분산 변형들이 표준 GAN 벤치마크에서 경험적 속도향상을 제공하는가?

주요 결과

• DPOSG는 표준 가정하에서 ε-첫 번째 차수 정지점으로의 비점근적 수렴을 달성한다.
• 로컬 통신 라운드가 t 회인 경우 가장 바쁜 노드에서의 통신 복잡도가 로그 스케일로 증가한다.
• 실험적 결과는 분산 변형들이 CIFAR-10(WGAN-GP)과 ImageNet(Self-Attention GAN)에서 중앙집중식 학습보다 벽시계 시간에서 우수하고 노드 수가 늘어남에 따라 확장됨을 보여준다.
• 무작위 혼합(Rand-DP-OAdam)을 사용하면 DP-OAdam보다 추가적인 속도향상을 얻고 에포크 기준에서 중앙집중식 옵티마이저의 성능에 맞추거나 능가하며 런타임을 줄인다.
• 높은 지연 클라우드 환경에서의 실험은 분산 GAN 학습에 상당한 런타임 이점을 보여준다.