[論文レビュー] On Self Modulation for Generative Adversarial Networks

Ting Chen, Mario Lučić+2 more|arXiv (Cornell University)|Oct 2, 2018

Model Reduction and Neural Networks参考文献 40被引用数 44

ひとこと要約

Self-modulation はジェネレータの特徴マップを入力ノイズベクトルを用いて自己変調し、追加のラベルなしでデータセット・アーキテクチャ・損失・ハイパーパラメータを横断してGANの性能を向上させる。相対FID削減は5-35%を示し、124/144の設定で改善。

ABSTRACT

Training Generative Adversarial Networks (GANs) is notoriously challenging. We propose and study an architectural modification, self-modulation, which improves GAN performance across different data sets, architectures, losses, regularizers, and hyperparameter settings. Intuitively, self-modulation allows the intermediate feature maps of a generator to change as a function of the input noise vector. While reminiscent of other conditioning techniques, it requires no labeled data. In a large-scale empirical study we observe a relative decrease of $5\%-35\%$ in FID. Furthermore, all else being equal, adding this modification to the generator leads to improved performance in $124/144$ ($86\%$) of the studied settings. Self-modulation is a simple architectural change that requires no additional parameter tuning, which suggests that it can be applied readily to any GAN.

研究の動機と目的

• 外部の conditioning 情報に頼らず、GANのトレーニングを安定化し、サンプル品質を向上させる。
• データセット、アーキテクチャ、損失、ハイパーパラメータを横断して、単純なアーキテクチャ変更の一般的適用性を示す。
• 無条件生成と条件付き生成のシナリオを比較し、利用可能なラベルとの相互作用を分析する。
• モジュレーションがジェネレータの条件付けとトレーニングダイナミクスに与える影響を理解するための診断を提供する。

提案手法

• 小さなMLPを介してBNのスケールとシフトパラメータをジェネレータ入力zに依存させることで、Self-modulationを導入する。
• 条件付き生成では、モデュレーションを適用する前に、zとラベル情報を単純なバイリニア相互作用で組み合わせる。
• 二つの損失（Non-saturatingとHinge）、二つの正規化/正則化スキーム（Gradient penaltyとSpectral normalization）、二つのアーキテクチャ（DCGAN風とResidual）、および複数のハイパーパラメータにわたって評価する。
• CIFAR-10, CelebA-HQ, LSUN-bedroom, ImageNetで100kステップ（ImageNetで長期訓練の場合は500kステップ）を訓練し、FIDとISで評価する。
• 自己モジュレーションとベースラインBNを、無対（ラベルなし）および対（ラベルあり）の設定で比較し、ハイパーパラメータ全体で最良のモデルを報告する。

実験結果

リサーチクエスチョン

• RQ1 Self-modulationは、多様なデータセット、アーキテクチャ、および損失/正規化設定にわたってGANの性能を改善しますか？
• RQ2 無条件GANと条件付きGANの両方で利点を提供できますか？また、利用可能なラベル情報とどのように相互作用しますか？
• RQ3 ジェネレータのどこでモジュレーションが最も効果的で、すべての層でモジュレーションが必要ですか？
• RQ4 Self-modulationは、ジェネレータのヤコビ行列の条件数や精度/再現率などの診断指標にどう影響しますか？

主な発見

• Self-modulationを用いた設定のFIDは、4%から33%の改善。
• ラベルなし設定では、32構成中30構成でSelf-modulationがベースラインを上回る。
• ラベルあり（条件付き）設定では、FIDで有意な改善とISで一定の改善を複数データセットで達成。
• ResNetアーキテクチャに適用すると、損失・正規化・正規化のいずれにも関わらず一貫して性能が向上。
• 長期訓練（500kステップ）では、無条件でFIDが11%、条件付きで13%の削減と、継続的な改善を示す。
• Self-modulationは後半の層に適用すると最大の効果を示し、すべての層に適用すると最良の結果が得られる傾向。