[論文レビュー] Training Generative Adversarial Networks by Solving Ordinary Differential Equations

Chongli Qin, Yan Wu+5 more|arXiv (Cornell University)|Oct 28, 2020

Generative Adversarial Networks and Image Synthesis参考文献 33被引用数 12

ひとこと要約

この論文は、勾配更新の離散化誤差に起因するGANの不安定性を解消するため、GANの学習ダイナミクスを支配する連続時間常微分方程式（ODE）を解くことで、GANの訓練を提案する。4次ルンゲ・クッタ法などの高次ODEソルバーや、単純な勾配正則化子を用いることで、適応的最適化手法（例：Adam）やスペクトル正規化を用いずに安定した学習が可能となり、CIFAR-10およびImageNetにおいて強力なベースラインを上回る性能を達成した。

ABSTRACT

The instability of Generative Adversarial Network (GAN) training has frequently been attributed to gradient descent. Consequently, recent methods have aimed to tailor the models and training procedures to stabilise the discrete updates. In contrast, we study the continuous-time dynamics induced by GAN training. Both theory and toy experiments suggest that these dynamics are in fact surprisingly stable. From this perspective, we hypothesise that instabilities in training GANs arise from the integration error in discretising the continuous dynamics. We experimentally verify that well-known ODE solvers (such as Runge-Kutta) can stabilise training - when combined with a regulariser that controls the integration error. Our approach represents a radical departure from previous methods which typically use adaptive optimisation and stabilisation techniques that constrain the functional space (e.g. Spectral Normalisation). Evaluation on CIFAR-10 and ImageNet shows that our method outperforms several strong baselines, demonstrating its efficacy.

研究の動機と目的

• GANの訓練における不安定性が、勾配更新における離散化誤差に起因するものかどうかを調査すること。
• GANの連続時間ダイナミクスが本質的に安定であるかどうかを検討し、不安定さの原因が統合誤差に起因する可能性を示唆すること。
• 下位のODEを正確に解くことでGANの訓練を安定化させる手法を開発し、複雑な正則化や適応的最適化手法への依存を減らすこと。
• 高次ODEソルバーが、スペクトル正規化やAdamを用いずに、GANの収束性と性能を向上させられることを実証すること。

提案手法

• 著者らは、勾配降下更新における無限小の時間ステップの極限を取ることで、GANの訓練を連続的力学系としてモデル化する。
• 損失関数の勾配に従って支配される、識別器および生成器のパラメータの連続時間ODE系を導出する。
• 離散的更新の代わりに、標準的な高次ODEソルバー（例：ルンゲ・クッタ法（RK4））を用いて連続的ダイナミクスを統合する。
• 統合誤差を制御し、ODE軌道の大きな逸脱を防ぐために、勾配正則化子を導入する。
• スペクトル正規化やAdamのような適応的最適化手法を避け、正確な数値統合に依存する。
• FIDやインセプションスコアといった標準指標を用いて、CIFAR-10およびImageNetで手法を評価する。

実験結果

リサーチクエスチョン

• RQ1 GANの訓練における不安定性は、本質的な連続時間ダイナミクスの不安定さではなく、勾配更新における離散化誤差に起因しているのだろうか？
• RQ2 高次ODEソルバーを用いることで、Adamのような高度な最適化技術に依存せずにGANの訓練を安定化させられるのだろうか？
• RQ3 生成器勾配に対する単純な正則化子が、統合誤差を効果的に制御し、訓練の安定性を向上させられるのだろうか？
• RQ4 スペクトル正規化やその他の関数空間制約を用いずに、競争力のある性能でGANを訓練できるのだろうか？

主な発見

• RK4ソルバーを用いたODE-GANは、CIFAR-10でFID 11.85 ± 0.21を達成し、SN-GAN や WGAN-GP といった強力なベースラインを上回った。
• ImageNet 128×128では、ODE-GANがFID 26.16 ± 0.75を達成し、同等の設定下でSN-GAN や WGAN-ALP を上回った。
• Adam やスペクトル正規化を用いずに、競争力のある性能を達成した。これは、統合誤差が制御されれば、これらの要素が必須ではないことを示している。
• 実験的結果から、高次ODEソルバーを用いる際には、Adam やスペクトル正規化が収束性を損なう可能性があることが示された。これは、それらが安定な統合を妨げる可能性があることを示唆している。
• 連続的ダイナミクスは、やや弱い仮定の下で安定であることが判明した。正確に統合された場合、回転成分に依存しない収束性を示した。
• 高次ODEソルバーの使用により、ノイズの多い勾配推定に対しても、収束性が向上し、サンプル品質が改善された。