[論文レビュー] Designing GANs: A Likelihood Ratio Approach

Kalliopi Basioti, George V. Moustakides|arXiv (Cornell University)|Feb 3, 2020

Model Reduction and Neural Networks参考文献 28被引用数 5

ひとこと要約

本稿では、スカラ関数φとψを用いた簡単なレシピに基づいて損失関数を導出することで、訓練の一貫性を保証する尤度比に基づくGAN設計手法を提案する。主な貢献は、リアルタイムでのGAN収束状態と安定性をモニタリング可能な新しいオンラインメトリクス「尤度比」を導入したことである。このメトリクスにより、CelebA や CIFAR-10 といった複雑なデータセットにおいて、特定の損失関数（例：Subclass A1a, A1b, A2, MSE）が他のものよりも優れた性能を示すことが明らかになった。

ABSTRACT

We are interested in the design of generative networks. The training of these mathematical structures is mostly performed with the help of adversarial (min-max) optimization problems. We propose a simple methodology for constructing such problems assuring, at the same time, consistency of the corresponding solution. We give characteristic examples developed by our method, some of which can be recognized from other applications, and some are introduced here for the first time. We present a new metric, the likelihood ratio, that can be employed online to examine the convergence and stability during the training of different Generative Adversarial Networks (GANs). Finally, we compare various possibilities by applying them to well-known datasets using neural networks of different configurations and sizes.

研究の動機と目的

• GANにおけるミニマックス最適化問題を構築する体系的かつ一貫性のある手法を開発し、正しい生成器分布への収束を保証すること。
• 追加の最適化を要せず、統一されたフレームワークから損失関数を導出することで、GANに適した損失関数の特定の課題に取り組むこと。
• 収束性と安定性をリアルタイムで評価可能な、新たなオンライン測定可能メトリクス「尤度比」を導入すること。
• 異なるデータセットを用いて、さまざまなGAN損失関数の性能を評価・比較し、データの複雑さが増すに従い顕在する性能差を同定すること。
• 提案されたクラスに属する未探索の損失関数が、特に複雑なデータセットにおいて、既存のものよりも優れた性能を示す可能性を示すこと。

提案手法

• 一般化されたミニマックス最適化フレームワークを提案：min_G max_D J(G,D) = E_x~f[φ(D(x))] + E_z~h[ψ(D(G(z)))]。ここでφとψは損失を定義するスカラ関数である。
• 測度の変更と変数変換を用いて、GAN最適化と密度に基づく問題の等価性を確立：min_g max_D {E_x~f[φ(D(x))] + E_x~f[r(x)ψ(D(x))]}。
• 尤度比関数 r(x) = g(x)/f(x) をキーメトリクスとして導入し、実データと生成データのサンプルからオンラインで推定可能であり、収束状態を監視可能である。
• 最適解 G(z) が z ~ h(z) を y = G(z) ~ f(y) にマッピングする条件を導出し、生成器の一貫性を保証する。
• FIDスコアおよびKIDスコアを用いて、異なるφとψの組み合わせを用いた、多様なアーキテクチャのニューラルネットワークによるGANの学習と性能評価を実施。
• 尤度比関数を用いて訓練ダイナミクスを分析し、リアルタイムで安定的・発散的挙動を同定する。

実験結果

リサーチクエスチョン

• RQ1 損失関数設計に追加の最適化を要せず、一貫性のあるGAN訓練目的を体系的に構築できる統一的アプローチを開発できるか？
• RQ2 GAN訓練中に尤度比関数をオンラインで推定し、収束性と安定性の信頼性のあるメトリクスとして利用できるか？
• RQ3 異なるGAN損失関数は、データセットの複雑さに応じて性能に差を示すか？ もしそうならば、CelebA や CIFAR-10 といった複雑なデータセットでは、どの損失関数が最も優れた性能を示すか？
• RQ4 提案フレームワーク内に属する未探索の損失関数が、ハッチやWasserstein GANsといった既存の損失関数を上回る性能を示せるか？
• RQ5 勾配ペナルティのハイパーパrameter λ の選択が長期的な訓練安定性に与える影響は何か？ また、最終的なFID/KIDスコアを改善せずに、発散を遅らせる最適化が可能か？

主な発見

• CelebA や CIFAR-10 といった複雑なデータセットにおいて、Subclass A1a, A1b, A2, MSE 損失関数は、FIDおよびKIDスコアの観点から他のGANバージョンを一貫して上回った。
• 約8,000枚のサンプルしか含まないStanford Carsデータセットでは、損失関数間の性能差が顕著に現れ、Subclass A損失が優れた安定性と品質を示した。
• B2、指数分布、交差エントロピーGAN（MNISTを除く）では、尤度比関数が1に収束しており、収束を示唆しているが、交差エントロピーでは分散が高いため、不安定性を示唆している。
• λ=10のWasserstein GANはλ=0.01のものよりも早期に発散（約150,000イテレーション目）を示したが、両者とも最高のFID/KIDスコアは同等だった。
• 速やかな収束を示したが、交差エントロピーGANでは尤度比の分散が高かったため、潜在的な不安定性を示唆しており、学習率の低減で緩和可能である。
• 尤度比メトリクスにより、訓練発散のリアルタイム検出が可能となり、比率が1から逸脱した後、ぼやけたまたは歪んだ画像が生成されるようになった。