[論文レビュー] f-GANs in an Information Geometric Nutshell

Richard Nock, Zac Cranko+3 more|arXiv (Cornell University)|Jul 14, 2017

Adversarial Robustness in Machine Learning参考文献 6被引用数 9

ひとこと要約

本稿は、f-GANの理論的基盤を確立し、訓練が変形指数型分布族上の幾何最適化問題に収束することを示す。f-発散とBregman発散の間の変分的恒等式を通じて関連づけられ、深層ネットワークがこれらの密度を自然に因数分解することを明らかにし、生成器の活性化関数および判別器のリンク関数の体系的設計を可能にする。

ABSTRACT

Nowozin extit{et al} showed last year how to extend the GAN extit{principle} to all $f$-divergences. The approach is elegant but falls short of a full description of the supervised game, and says little about the key player, the generator: for example, what does the generator actually converge to if solving the GAN game means convergence in some space of parameters? How does that provide hints on the generator's design and compare to the flourishing but almost exclusively experimental literature on the subject? In this paper, we unveil a broad class of distributions for which such convergence happens --- namely, deformed exponential families, a wide superset of exponential families --- and show tight connections with the three other key GAN parameters: loss, game and architecture. In particular, we show that current deep architectures are able to factorize a very large number of such densities using an especially compact design, hence displaying the power of deep architectures and their concinnity in the $f$-GAN game. This result holds given a sufficient condition on extit{activation functions} --- which turns out to be satisfied by popular choices. The key to our results is a variational generalization of an old theorem that relates the KL divergence between regular exponential families and divergences between their natural parameters. We complete this picture with additional results and experimental insights on how these results may be used to ground further improvements of GAN architectures, via (i) a principled design of the activation functions in the generator and (ii) an explicit integration of proper composite losses' link function in the discriminator.

研究の動機と目的

• f-GANの情報幾何的解釈と情報理論的定式化の間のギャップを埋めるために、生成器の収束における多様体構造を同定する。
• 深層ニューラルネットワークがf-GANで有効である理由を、変形指数型分布族内の密度を自然に因数分解できることを示すことによって説明する。
• f-GANの幾何的構造に基づいて、生成器活性化関数および判別器リンク関数の体系的設計フレームワークを提供する。
• 指数型分布族を超えて、より広い分布クラスへと、KL発散とBregman発散の既知の恒等関係を変形指数型分布族を用いて拡張する。

提案手法

• KL発散からBregman発散への恒等式の変分的一般化を提案し、f-GAN(P, エスケイプ(Q))が変形指数型分布族に対して、自然パラメータ間のBregman発散D(θ∥ϑ)に加えてペナルティ項を持つことを示す。
• f-GAN訓練が幾何最適化問題に収束する主要な分布クラスとして、変形指数型分布族を同定する。
• 生成器の出力が変形指数型分布族に属するための活性化関数（例：ReLU, Softplus, µ-ReLU）の十分条件を導出する。
• 深層アーキテクチャが変形指数型分布族に属する広範な密度をコンactに表現できることを示し、その実験的有効性を説明する。
• f-GANゲームの幾何的構造を活用して、合成損失リンク関数を判別器に体系的に統合する手法を導入する。
• DCGANおよびMLPアーキテクチャを用いたMNISTおよびLSUNにおける実験を通じて理論を検証し、活性化関数（ReLU, Softplus, µ-ReLU, LS損失）を変更した場合の性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 f-GANにおける生成器はどの分布族に収束するのか。幾何的にどのように特徴づけられるか。
• RQ2 深層ニューラルネットワークアーキテクチャは、変形指数型分布族に属する密度の表現とどのように関係しているか。
• RQ3 情報幾何からの理論的保証に基づいて、生成器の活性化関数を設計できるか。
• RQ4 幾何的原則を用いて、判別器のリンク関数をf-GANフレームワークに明示的に統合できるか。
• RQ5 f-発散とBregman発散の理論的関係は、指数型分布族を超えて成り立つか。GAN訓練にどのような意味を持つのか。

主な発見

• 変形指数型分布族におけるf-GANの目的関数は、自然パラメータ間のBregman発散に加えてペナルティ項を持つ。これにより、f-発散最小化と幾何最適化の直接的な関連が確立される。
• ペナルティ項が小さい場合、f-GAN訓練は本質的にBregman発散を最小化するため、生成器は幾何的に最適な解に収束する。
• DCGANやMLPなどの深層アーキテクチャは、変形指数型分布族に属する広範な密度クラスを効率的に因数分解でき、GANにおけるそれらの実験的有効性を説明する。
• 理論的分析により、ReLU, Softplus, µ-ReLUなどの一般的な活性化関数が、変形指数型分布族密度を生成するための十分条件を満たすことが示された。
• MNISTおよびLSUNにおける実験では、µ > 0 のµ-ReLUがReLUよりも高い対数尤度性能を示し、生成器活性化関数の理論的設計を実証した。
• f-GAN定式化における合成損失に整合した適切なリンク関数を判別器に組み込むことで、特にWGANに類似した設定において、訓練の安定性と性能が向上した。