[論文レビュー] Towards a Better Understanding and Regularization of GAN Training Dynamics

Weili Nie, Ankit Patel|arXiv (Cornell University)|Jun 24, 2018

Model Reduction and Neural Networks参考文献 30被引用数 14

ひとこと要約

本論文は、GANの学習ダイナミクスにおける2つの主要な不安定要因である「位相要因」（虚数部と実数部の比が大きい複素固有値）と「条件数要因」（悪条件のヤコビ行列）を同時に軽減する、新しいヤコビ行列正則化法JAREを提案する。両要因を同時に扱うことで、収束安定性とサンプル品質が向上し、CIFAR-10、CelebA、ImageNetの各データセットにおいて、モード崩壊を伴わずに現実的で多様な画像を生成する点で、先行手法を上回る性能を発揮する。

ABSTRACT

Generative adversarial networks (GANs) are notoriously difficult to train and the reasons underlying their (non-)convergence behaviors are still not completely understood. By first considering a simple yet representative GAN example, we mathematically analyze its local convergence behavior in a non-asymptotic way. Furthermore, the analysis is extended to general GANs under certain assumptions. We find that in order to ensure a good convergence rate, two factors of the Jacobian in the GAN training dynamics should be simultaneously avoided, which are (i) the Phase Factor, i.e., the Jacobian has complex eigenvalues with a large imaginary-to-real ratio, and (ii) the Conditioning Factor, i.e., the Jacobian is ill-conditioned. Previous methods of regularizing the Jacobian can only alleviate one of these two factors, while making the other more severe. Thus we propose a new JAcobian REgularization (JARE) for GANs, which simultaneously addresses both factors by construction. Finally, we conduct experiments that confirm our theoretical analysis and demonstrate the advantages of JARE over previous methods in stabilizing GANs.

研究の動機と目的

• GAN学習ダイナミクスにおける収束不良の根本的要因を、特に非漸近的設定において同定・分析すること。
• 既存の正則化手法が、一方の要因の改善に伴い他方の要因を悪化させるため、GANを安定化させられない理由を理解すること。
• GAN学習ヤコビ行列における「位相要因」と「条件数要因」を同時に軽減できる統一的な正則化手法を開発すること。
• CIFAR-10、CelebA、ImageNetなどの多様なデータセットを用いた実験により、理論的分析を実証すること。
• JAREが、複数のベンチマークでモード崩壊を伴わず、安定的かつ高品質なGAN学習を可能にすることを示すこと。

提案手法

• 均衡点付近の学習ダイナミクスヤコビ行列の固有値を分析することで、GANの非漸近的局所収束性を検証する。
• 2つの不安定化要因を同定する：「位相要因」（虚数部と実数部の比が大きな複素固有値）と「条件数要因」（悪条件のヤコビ行列）。
• 学習中にヤコビ行列の位相と条件数の両方を明示的に制約する新しい正則化手法「JARE（Jacobian REgularization）」を提案する。
• ヤコビ行列の固有値スペクトル特性に対するペナルティ項を勾配更新ルールに統合することで、JAREを標準GAN学習ループに組み込む。
• 固有値の虚数部と実数部の比およびヤコビ行列の条件数の両方をペナルティとするパラメータ化された正則化項を採用する。
• ResNetベースの生成器および識別器を用い、CIFAR-10、CelebA、ImageNetで標準ハイパーパrameterとアーキテクチャ変種を用いて手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 GAN学習における収束不良の主な動的要因は何か。特に非漸近的設定においては？
• RQ2 既存のヤコビ行列正則化手法が、ヤコビ行列の一方の側面を改善しても、なぜGANを安定化させられないのか？
• RQ3 1つの正則化手法で、GANヤコビ行列における「位相要因」と「条件数要因」を同時に軽減できるか？
• RQ4 提案されたJARE手法は、先行の最先端手法と比較して、より速い収束性と優れたサンプル品質を達成するか？
• RQ5 JAREは、ImageNetのような複雑なデータセットにおいて、モード崩壊や学習崩壊を伴わず、GAN学習を安定化させられるか？

主な発見

• 虚数部と実数部の比が大きな複素固有値によって特徴づけられる「位相要因」は、収束を著しく遅くし、学習を不安定化させる。
• 悪条件のヤコビ行列に起因する「条件数要因」も、収束速度の低下と数値的不安定性を引き起こす。
• スペクトル正則化やコンSENSUS最適化などの既存の正則化手法は、一方の要因の緩和に留まり、他方の要因を悪化させる傾向にある。
• JAREは、ヤコビ行列の虚数部と実数部の比および条件数の両方を効果的に低減し、より速く安定した収束を実現する。
• CIFAR-10では、JAREは6つの全実験設定で現実的で多様なサンプルを生成するが、標準GAN、SN-GAN、ConOptはそのような生成に失敗する。
• CelebAおよびImageNetでは、JAREは教師なしで高品質で多様な顔や物体の画像を生成し、高解像度で複雑なデータに対しても高い頑健性を示す。