[論文レビュー] Training Generative Adversarial Networks with Binary Neurons by End-to-end Backpropagation

Hao‐Wen Dong, Yi‐Hsuan Yang|arXiv (Cornell University)|Oct 10, 2018

Generative Adversarial Networks and Image Synthesis参考文献 6被引用数 8

ひとこと要約

この論文は、生成器の出力層でバイナリニューロンを使用して直接バイナリ値の出力を生成する、BinaryGANを提案する。シグモイド補正付きストレートスラッシュ勾配推定器を用いることで、バックプロパゲーションをエンドツーエンドで可能にし、GANが離散的活性化を用いても性能を維持できることを示している。バイナリズドMNISTディジットの生成に成功した。

ABSTRACT

We propose the BinaryGAN, a novel generative adversarial network (GAN) that uses binary neurons at the output layer of the generator. We employ the sigmoid-adjusted straight-through estimators to estimate the gradients for the binary neurons and train the whole network by end-to-end backpropogation. The proposed model is able to directly generate binary-valued predictions at test time. We implement such a model to generate binarized MNIST digits and experimentally compare the performance for different types of binary neurons, GAN objectives and network architectures. Although the results are still preliminary, we show that it is possible to train a GAN that has binary neurons and that the use of gradient estimators can be a promising direction for modeling discrete distributions with GANs. For reproducibility, the source code is available at https://github.com/salu133445/binarygan .

研究の動機と目的

• 生成器にバイナリニューロンを用いたGANのエンドツーエンド学習を可能にし、後処理ステップを回避すること。
• 勾配推定器がGANにおける離散的分布の最適化に有効に機能するかを調査すること。
• 決定的バイナリニューロンと確率的バイナリニューロンの比較、GANの目的関数（GAN、WGAN、WGAN-GP）の比較、MLPとCNNのアーキテクチャの比較を通じて、離散的生成の有効性を検証すること。
• 連続的リラクゼーションや二段階学習を経ないで、バイナリズドデータを直接GANから生成する可能性を評価すること。

提案手法

• 推論時において離散的でバイナリ値の予測を生成できるように、生成器の出力層にバイナリニューロンを採用する。
• バックプロパゲーション中に非微分可能なバイナリゼーション操作を通過する勾配を近似するために、シグモイド補正付きストレートスラッシュ推定器を用いる。
• 離散出力のための勾配推定器を用いて、標準的なバックプロパゲーションにより、モデル全体をエンドツーエンドで学習する。
• 訓練安定性とサンプル品質の観点から、標準GAN、WGAN（重みクリッピングを伴う）、WGAN-GP（勾配ペナルティを伴う）という3つのGAN目的関数を比較する。
• 生成器および識別器のアーキテクチャとして、マルチレイヤーパーセプトロン（MLP）と畳み込みニューラルネットワーク（CNN）の両方を評価する。
• 2つのバイナリゼーション戦略を適用する：0.5でのハードスレッショルド処理、および生成器の出力に確率的ベルヌーイサンプリングを適用する。

実験結果

リサーチクエスチョン

• RQ1 生成器にバイナリニューロンを備えたGANは、後処理を経ずに勾配推定器を用いてエンドツーエンドで学習可能か？
• RQ2 異なるGAN目的関数（GAN、WGAN、WGAN-GP）は、生成されたバイナリズドディジットの品質と安定性にどのように影響するか？
• RQ3 決定的バイナリニューロンと確率的バイナリニューロンを用いることで、生成サンプルの多様性と忠実度にどのような影響が生じるか？
• RQ4 MLPとCNNアーキテクチャは、バイナリニューロンを用いた高品質なバイナリズドMNISTディジット生成において、どのように比較されるか？
• RQ5 フォワードパスにバイナリゼーション処理を組み込み、訓練中にその勾配推定を実施することで、モデル性能が向上するか？

主な発見

• 提案されたBinaryGANは、後処理を経ずに推論時に直接バイナリズドMNISTディジットを生成でき、視覚的に妥当なサンプルを生成した。
• WGAN-GP目的関数は、標準GANおよび重みクリッピングを伴うWGANを上回り、より多様で高品質なサンプルを生成し、モード崩壊も少なく抑えられた。
• MLPに比べて、CNNベースのアーキテクチャはより明確で構造的なディジットを生成し、アーチファクトも少なく、パラメータ数が多くても優れた品質を達成した。
• 0.5でのハードスレッショルド処理は、確率的ベルヌーイサンプリングに比べ、より一貫性があり視覚的に整合性のとれたディジットを生成した。
• 勾配推定器の使用により、バイナリ生成器の安定した訓練が可能となり、離散的分布モデリングにおけるその有効性が裏付けられた。
• エンドツーエンドの訓練がバイナリニューロンを用いて離散的データ生成に可能で効果的であることが示された。特にWGAN-GPとCNNの組み合わせが顕著な効果を示した。