[論文レビュー] Multi-class Generative Adversarial Networks with the L2 Loss Function.

Xudong Mao, Qing Li+3 more|arXiv (Cornell University)|Nov 13, 2016

Generative Adversarial Networks and Image Synthesis参考文献 11被引用数 149

ひとこと要約

本稿では、標準的なGANが使用するシグモイド交差エントロピー損失に代わり、識別器にL2損失関数を用いることで、訓練の安定性を向上させる多クラスGANを提案する。これは、標準的なGANで一般的に見られる飽和問題を解消することを目的としている。3,740クラスの手書き中国語文字データセットを用いた実験により、L2ベースのアプローチが多数のクラスにわたり安定的かつ高品質な画像生成を可能にすることが示された。

ABSTRACT

Generative adversarial networks (GANs) have achieved huge success in unsupervised learning. Most of GANs treat the discriminator as a classifier with the binary sigmoid cross entropy loss function. However, we find that the sigmoid cross entropy loss function will sometimes lead to the saturation problem in GANs learning. In this work, we propose to adopt the L2 loss function for the discriminator. The properties of the L2 loss function can improve the stabilization of GANs learning. With the usage of the L2 loss function, we propose the multi-class generative adversarial networks for the purpose of image generation with multiple classes. We evaluate the multi-class GANs on a handwritten Chinese characters dataset with 3740 classes. The experiments demonstrate that the multi-class GANs can generate elegant images on datasets with a large number of classes. Comparison experiments between the L2 loss function and the sigmoid cross entropy loss function are also conducted and the results demonstrate the stabilization of the L2 loss function.

研究の動機と目的

• 標準的なGANで一般的に見られるシグモイド交差エントロピー損失関数に起因する訓練不安定性、特に飽和問題を是正すること。
• 多数のクラスにわたる画像生成において、GANの安定性と性能を向上させること。
• 識別器にL2損失関数を用いる多クラスGANフレームワークを提案すること。
• L2損失と標準的なシグモイド交差エントロピー損失を比較して、多クラス画像生成におけるL2損失の有効性を評価すること。

提案手法

• 識別器における標準的なシグモイド交差エントロピー損失をL2損失関数に置き換えることで、訓練の安定性を向上させること。
• 3,740クラスの手書き中国語文字のような多数のクラスを持つデータセットからの画像生成に対応できる多クラスGANアーキテクチャを設計すること。
• 実画像と偽画像の特徴表現の差を最小化するように、生成器と識別器をL2損失を用いてエンドツーエンドで訓練すること。
• 全クラスにわたる実画像と生成画像を区別できるように、識別器に多クラス分類ヘッドを設けること。
• 実画像と生成画像の特徴マップ間のL2損失を最小化することで、生成器が現実的で高品質なサンプルを生成できるように最適化すること。
• 実データ分布および生成データ分布の両方にL2損失を適用することで、識別器がより安定的で意味のある特徴表現を学習できるように促進すること。

実験結果

リサーチクエスチョン

• RQ1 シグモイド交差エントロピー損失をL2損失関数に置き換えることで、GANにおける訓練の安定性が向上するか？
• RQ2 L2ベースの識別器は、多数のクラス（特に3,740クラス）を含む多クラス画像生成を効果的に処理できるか？
• RQ3 L2損失に基づくGANは、シグモイド交差エントロピー損失を用いる標準的なGANと比較して、画像品質および訓練収束性において優れているか？
• RQ4 L2損失関数は、GAN訓練における飽和問題の緩和に有効であるか？

主な発見

• L2損失関数は、GANにおける訓練の飽和リスクを顕著に低減させ、より安定した訓練ダイナミクスを実現した。
• L2損失を用いた本稿で提案する多クラスGANは、3,740クラスの手書き中国語文字に対して高品質な画像を生成することに成功した。
• 比較実験の結果、L2ベースのGANは、訓練の安定性および画像忠実度の観点で、シグモイド交差エントロピー損失を用いる標準的なGANを上回った。
• L2損失は、より良い特徴空間最適化を可能にし、一貫性があり現実的な生成サンプルを生み出すことに寄与した。