[論文レビュー] Decentralized Learning of Generative Adversarial Networks from Non-iid Data

Ryo Yonetani, Tomohiro Takahashi+2 more|arXiv (Cornell University)|May 23, 2019

Generative Adversarial Networks and Image Synthesis参考文献 46被引用数 25

ひとこと要約

本稿では、非i.i.d.なクライントデータから統一されたデータ分布を学習する分散型GAN学習手法であるForgiver-First Update (F2U)を提案する。F2Uは各クライントのディスクリミネーターを局所的に訓練し、生成器を最も「寛容」な（生成されたサンプルを本物とみなす割合が高い）ディスクリミネーターを欺くように更新することで、全クラスを含むグローバルな最適解に収束する。理論的には、f-ダイバージェンスを最小化することで、すべての入力クラスを含むグローバル最適解に収束することが保証される。実用的変種であるF2Aは、バックプロパゲーションで最適化された適応的集約により性能を向上させる。

ABSTRACT

This work addresses a new problem that learns generative adversarial networks (GANs) from multiple data collections that are each i) owned separately by different clients and ii) drawn from a non-identical distribution that comprises different classes. Given such non-iid data as input, we aim to learn a distribution involving all the classes input data can belong to, while keeping the data decentralized in each client storage. Our key contribution to this end is a new decentralized approach for learning GANs from non-iid data called Forgiver-First Update (F2U), which a) asks clients to train an individual discriminator with their own data and b) updates a generator to fool the most `forgiving' discriminators who deem generated samples as the most real. Our theoretical analysis proves that this updating strategy allows the decentralized GAN to achieve a generator's distribution with all the input classes as its global optimum based on f-divergence minimization. Moreover, we propose a relaxed version of F2U called Forgiver-First Aggregation (F2A) that performs well in practice, which adaptively aggregates the discriminators while emphasizing forgiving ones. Our empirical evaluations with image generation tasks demonstrated the effectiveness of our approach over state-of-the-art decentralized learning methods.

研究の動機と目的

• クライントが異なるクラスを持つ非i.i.d.データ分布を保有する分散型の生成モデル学習の課題に対処すること。
• 中央集権的なデータ集約なしに、すべての入力クラスを含む分布を学習できるグローバルな生成器を実現すること。
• プライバシーを保ちながらデータ漏洩を回避する理論的裏付けのある分散型GAN学習手法を提供すること。
• 非i.i.d.データ下で失敗するか、理論的保証のない従来の分散型GANの限界を克服すること。

提案手法

• 各クライントのプライベートで非i.i.d.なデータのみを用いて、局所的なディスクリミネーターを訓練し、データの分散性を維持する。
• 各生成サンプルに対して、最も「寛容」なディスクリミネーター（生成サンプルを本物とみなすスコアが最も高いもの）を特定し、生成器の更新をこれに従って制御する。
• 生成器損失をf-ダイバージェンス最小化として定式化し、グローバル最適解がすべてのクライントのデータ分布の最大値 $p_{\rm max}(x) = \frac{1}{Z}\max_i p_i(x)$ に一致することを証明する。
• F2Aを、バックプロパゲーションで最適化される可学習で正則化された重みを用いた、適応的で緩和されたディスクリミネーター出力集約として提案する。
• MNIST、Fashion-MNIST、CINIC-10の各データセットで、生成器およびディスクリミネーターのアーキテクチャにスペクトル正規化とバッチ正規化を適用し、学習の安定化を図る。
• 生成物（生データではなく）のモデル更新のみを共有する通信効率の高いフレームワークを実装し、プライバシーとスケーラビリティを確保する。

実験結果

リサーチクエスチョン

• RQ1 分散型GANは、データを中央集権せず、非i.i.d.クライントデータから全クラスを含む統一されたデータ分布を学習できるか？
• RQ2 生成器の更新において最も寛容なディスクリミネーターを優先することで、すべての入力クラスをカバーするグローバル最適解に収束するか？
• RQ3 F2Uにおけるf-ダイバージェンス最小化の理論的保証は、実世界の画像生成タスクにおける実用的性能とどのように対比されるか？
• RQ4 緩和された適応的集約戦略（F2A）は、厳密なF2Uを上回る実用的性能を示すか、非i.i.i.d.データに対して堅牢性を維持できるか？
• RQ5 データの非i.i.i.d.性は、分散型GAN学習における生成器の多様性およびモードカバレッジにどのような影響を及ぼすか？

主な発見

• F2Uはf-ダイバージェンス最小化により、クライントデータ分布の最大値 $p_{\rm max}(x)$ をグローバル最適解として理論的に収束する。
• F2Aは、バックプロパゲーションで最適化される可学習重みを用いてディスクリミネーター出力を適応的に重み付けすることで、F2Uを上回る実用的性能を示し、サンプルの質と多様性が向上する。
• F2UおよびF2Aは、MNIST、Fashion-MNIST、CINIC-10の各データセットで、モード崩壊やクラスバイアスを示さずに高品質で多様な画像を生成する。
• MD-GANは低品質なサンプルを生成するが、GMANの変種は顕著なクラスバイアス（例：「1」の過剰生成）を示し、F2U/F2Aの優位性を確認する。
• 定性的な結果から、F2UおよびF2Aは重大なアーティファクトを避けており、非i.i.i.d.データ環境下でもバランスが取れ、現実的なサンプルを生成することが可能である。
• 本手法は、一部のクライントでのみ存在するレアクラスを効果的に捉えており、データ非均質性に対する堅牢性を示している。