[論文レビュー] A Decentralized Parallel Algorithm for Training Generative Adversarial Nets

Mingrui Liu, Wei Zhang+5 more|arXiv (Cornell University)|Oct 28, 2019

Human Pose and Action Recognition参考文献 101被引用数 34

ひとこと要約

本論文は、GANのトレーニングのための梯度ベースの分散並列アルゴリズム（DPOSG）を導入し、非凸-非凹のミンマックス問題を扱い、証明可能な非漸近的収束を持ち、中央集権的トレーニングに対する経験的なスピードアップを示す。

ABSTRACT

Generative Adversarial Networks (GANs) are a powerful class of generative models in the deep learning community. Current practice on large-scale GAN training utilizes large models and distributed large-batch training strategies, and is implemented on deep learning frameworks (e.g., TensorFlow, PyTorch, etc.) designed in a centralized manner. In the centralized network topology, every worker needs to either directly communicate with the central node or indirectly communicate with all other workers in every iteration. However, when the network bandwidth is low or network latency is high, the performance would be significantly degraded. Despite recent progress on decentralized algorithms for training deep neural networks, it remains unclear whether it is possible to train GANs in a decentralized manner. The main difficulty lies at handling the nonconvex-nonconcave min-max optimization and the decentralized communication simultaneously. In this paper, we address this difficulty by designing the \textbf{first gradient-based decentralized parallel algorithm} which allows workers to have multiple rounds of communications in one iteration and to update the discriminator and generator simultaneously, and this design makes it amenable for the convergence analysis of the proposed decentralized algorithm. Theoretically, our proposed decentralized algorithm is able to solve a class of non-convex non-concave min-max problems with provable non-asymptotic convergence to first-order stationary point. Experimental results on GANs demonstrate the effectiveness of the proposed algorithm.

研究の動機と目的

• 大規模で帯域幅の低いまたは遅延の大きいネットワークにおける中央集権的GANトレーニングのボトルネックを動機づけ、対処する。
• 非凸-非凹のミンマックスGAN問題のための勾配ベースの分散並列アルゴリズムを提案する。
• 非漸近的収束保証を提供し、通信効率を分析する。
• 分散通信を用いたGANベンチマークで実証的なスピードアップを示す。
• 複数の局所的な通信と同時更新が収束性とスケーラビリティにどのように寄与するかを検討する。

提案手法

• 生成器と識別器の同時更新を伴う分散並列の Optimistic Stochastic Gradient (DPOSG) アルゴリズムを設計する。
• イテレーションごとに複数回の局所近隣通信を許可し、トポロジをモデル化するために二重確率的混合行列Wを使用する。
• 更新規칙はOptimistic Stochastic Gradientを分散設定へ拡張し、2つの更新系列とtラウンドにわたる局所平均化を導入する。
• 標準的な仮定の下で、epsilon-一階停留点への非漸近的収束を示す理論分析を提供する。
• 実効的スペクトルギャップを低減し、実用的な性能を向上させるための乱数混合戦略を組み込む。
• Adam系の variants (DP-OAdam, Rand-DP-OAdam) を用いた実験を行い、WGAN-GP/CIFAR-10およびSelf-Attention GAN/ImageNetにおける中央集権型CP-OAdamと比較する。

実験結果

リサーチクエスチョン

• RQ1 中央パラメータサーバを持たない分散ネットワークでGANトレーニングを効果的に行えるか。
• RQ2 勾配ベースの分散アルゴリズムは、非凸-非凹のミンマックスGAN目的関数に対して非漸近的に第一階の停留点へ収束するのか。
• RQ3 中央集権的手法と比較して、分散GAN最適化の通信および計算複雑性はどうか。
• RQ4 乱数混合を用いた分散バリアントは、標準的なGANベンチマークで実証的なスピードアップをもたらすか。

主な発見

• DPOSGは標準的仮定の下でepsilon-第一階停留点への非漸近的収束を達成する。
• 局所通信をtラウンド行うという条件の下で、最も忙しいノードに対して対数的な通信複雑性を持つ。
• 実証結果は、WGAN-GPのCIFAR-10およびSelf-Attention GANのImageNetで、分散バリアントが壁時計時間で中央集権的トレーニングを上回り、ノード数が増えるとスケールすることを示す。
• ランダム混合（Rand-DP-OAdam）を使用すると、DP-OAdamよりさらにスピードアップが得られ、エポック数で中央集権型最適化手法の性能と同等または上回り、実行時間を短縮する。
• 高遅延クラウド環境での実験は、分散GANトレーニングの実行時間に対して大幅な利点を示す。