[論文レビュー] Lipizzaner: A System That Scales Robust Generative Adversarial Network Training

Tom Schmiedlechner, Ignavier Ng Zhi Yong+3 more|arXiv (Cornell University)|Nov 30, 2018

Generative Adversarial Networks and Image Synthesis参考文献 15被引用数 11

ひとこと要約

Lipizzanerは、二重で適応的な生成器および識別器の集団を用いた空間的共進化的アルゴリズムを用いて、スケーラブルで頑健なGAN学習を実現する分散型でオープンソースのシステムである。グリッドベースの通信構造と近隣に基づくモデル交換を伴う局所的学習を活用することで、モード崩壊および識別器崩壊を効果的に防止し、グリッドサイズの増大に伴い生成性能が向上し、AWSクラスタ上での通信量が線形にスケーリングされる。

ABSTRACT

GANs are difficult to train due to convergence pathologies such as mode and discriminator collapse. We introduce Lipizzaner, an open source software system that allows machine learning engineers to train GANs in a distributed and robust way. Lipizzaner distributes a competitive coevolutionary algorithm which, by virtue of dual, adapting, generator and discriminator populations, is robust to collapses. The algorithm is well suited to efficient distribution because it uses a spatial grid abstraction. Training is local to each cell and strong intermediate training results are exchanged among overlapping neighborhoods allowing high performing solutions to propagate and improve with more rounds of training. Experiments on common image datasets overcome critical collapses. Communication overhead scales linearly when increasing the number of compute instances and we observe that increasing scale leads to improved model performance.

研究の動機と目的

• スケーラブルな分散システムを用いて、GAN学習におけるモード崩壊および識別器崩壊という持続的な課題に取り組むこと。
• 競争的共進化的アルゴリズムと空間的グリッド抽象化を統合することで、頑健で高性能なGAN学習を実現すること。
• 分散学習環境におけるグリッドサイズの影響がGANの性能およびスケーラビリティに与える影響を評価すること。
• 分散インスタンス間での効率的な非同期データ交換を通じて、通信量の線形スケーリングと壁時計時間の短縮を達成すること。

提案手法

• 各セルに局所的なGANペア（生成器および識別器）を配置する空間的グリッド抽象化を採用し、局所的学習と通信を可能にしている。
• 近隣セルにおける相対的適応度に基づいて、生成器および識別器の集団が適応的に進化する二重集団共進化フレームワークを用いている。
• 近隣セル間で高性能なモデルを非同期に交換することで、中央集権的な調整なしに優れた解決策がグリッド全体に広がるのを促進している。
• ニューラルネットワークのパラメータ更新には確率的勾配降下法を、ハイパーパramータの適応にはガウス分布に基づく変異を用いている。
• 重なり合う近隣領域と仮想オーバーレイネットワークを活用することで通信を最適化し、ピークネットワーク負荷を低減し、インスタンス数に比例した線形スケーリングを実現している。
• システムはAWS上にDockerコンテナとGPUインスタンスを用いて、オープンソースソフトウェアとして実装されている。

実験結果

リサーチクエスチョン

• RQ1 分散型共進化的フレームワークは、GAN学習におけるモード崩壊および識別器崩壊を効果的に防止できるか？
• RQ2 空間的グリッドサイズの増大は、GANにおける生成サンプルの多様性および品質にどのように影響するか？
• RQ3 通信オーバーヘッドは、分散学習インスタンス数に比例してスケーリングするか？
• RQ4 効率的な並列処理と非同期通信を通じて、システムはより短い壁時計時間での学習を達成できるか？
• RQ5 グリッドベースのモデル交換は、GAN学習の収束性および安定性にどのような影響を与えるか？

主な発見

• MNISTでは12×12グリッドで全変動距離（TVD）が顕著に低下し、生成サンプルの多様性および分布カバレッジが向上した。
• MNISTでは12×12グリッドが生成画像におけるクラス分布を最も均一にし、小さなグリッドや単一インスタンス学習を上回った。
• CelebAでは4×4グリッドでFréchet Inception Distance（FID）が30.59±1.03を達成し、小さなグリッドと比較して顕著な性能低下がなく、スケーリングにおける安定性を示した。
• AWS上では1イテレーションあたりの学習時間がインスタンス数にほぼ線形にスケーリングされ、Gigabit Ethernetを介した平均クライアント間通信時間はわずか0.5秒であった。
• CelebAでは最小グリッドサイズ（2×2）でも、モード崩壊および識別器崩壊を効果的に防止した。これは、システムの頑健性を示している。
• 非同期通信パターンによりネットワークのピーク負荷が低減され、分散GPUリソースの効率的利用が実現された。