[論文レビュー] Is Generator Conditioning Causally Related to GAN Performance?

Augustus Odena, Jacob Buckman+5 more|arXiv (Cornell University)|Feb 23, 2018

Model Reduction and Neural Networks参考文献 30被引用数 50

ひとこと要約

本論文はGAN生成器のヤコビ行列の条件付けを研究し、それがInception ScoreとFIDと相関することを示し、GANの性能を改善・安定化させるためのJacobian Clampingを導入します。

ABSTRACT

Recent work (Pennington et al, 2017) suggests that controlling the entire distribution of Jacobian singular values is an important design consideration in deep learning. Motivated by this, we study the distribution of singular values of the Jacobian of the generator in Generative Adversarial Networks (GANs). We find that this Jacobian generally becomes ill-conditioned at the beginning of training. Moreover, we find that the average (with z from p(z)) conditioning of the generator is highly predictive of two other ad-hoc metrics for measuring the 'quality' of trained GANs: the Inception Score and the Frechet Inception Distance (FID). We test the hypothesis that this relationship is causal by proposing a 'regularization' technique (called Jacobian Clamping) that softly penalizes the condition number of the generator Jacobian. Jacobian Clamping improves the mean Inception Score and the mean FID for GANs trained on several datasets. It also greatly reduces inter-run variance of the aforementioned scores, addressing (at least partially) one of the main criticisms of GANs.

研究の動機と目的

• 生成器のヤコビ行列を通じてGANのトレーニングダイナミクスの理解を動機づける。
• ヤコビ行列の条件付けと既存のGAN品質指標（Inception ScoreとFID）との関係を調査する。
• ヤコビ行列の条件付けを制御する因果的介入を提案し、それがGANの性能に与える影響を評価する。

提案手法

• z にわたる生成器ヤコビ行列 J_z の二乗特異値の分布を計算する。
• 局所的な幾何と条件付けの要約として M_z = J_z^T J_z の condition number を用いる。
• MNIST、CIFAR-10、STL-10 にわたり、平均対数条件数と Inception Score および FID の経験的相関を取る。
• トレーニング中のヤコビ行列の条件付けを制約するための Jacobian Clamping を提案・実装する。
• Jacobian Clamping の有無でGANの実行を比較する介入研究を行う。
• Jacobian Clamping が他のGAN技術や設定とどのように相互作用するかを評価する。

実験結果

リサーチクエスチョン

• RQ1 生成器のヤコビ行列の条件付けはデータセット全体で Inception Score と FID と相関するか？
• RQ2 生成器の条件付けを改善することがGANの性能を因果的に向上させるという証拠はあるか？
• RQ3 単純な正則化（Jacobian Clamping）が条件付けを制約し、学習実行間のスコアの分散を減らせるか？

主な発見

• 生成器のヤコビ行列の条件付けは、一般にトレーニングの早い段階で非条件数（ill-conditioned）になりやすい。
• より強い条件付けは MNIST、CIFAR-10、STL-10 全体でより高い Inception Score とより低い FID と相関する。
• Jacobian Clamping は実行間の分散を減らし、いくつかのデータセットで平均 Inception Score および平均 FID を改善する。
• Jacobian Clamping は多くの実行を悪条件 cluster に入らないようにし、より良いスコアを保持することが多い。
• この介入は条件付けとGAN性能の因果的関係を支持する証拠を提供する。
• Jacobian Clamping は、同等のスコアでより少ない識別器更新を可能にすることで、最先端モデルの速度を向上させることができる。