[論文レビュー] Boundary-Seeking Generative Adversarial Networks

R Devon Hjelm, Athul Paul Jacob+4 more|arXiv (Cornell University)|Feb 27, 2017

Generative Adversarial Networks and Image Synthesis参考文献 36被引用数 112

ひとこと要約

BGAN は、識別器からの重要度重み付け付き方策勾配を導入して離散データ上でGANを訓練し、連続データにも目的を拡張して安定性を改善します。

ABSTRACT

Generative adversarial networks (GANs) are a learning framework that rely on training a discriminator to estimate a measure of difference between a target and generated distributions. GANs, as normally formulated, rely on the generated samples being completely differentiable w.r.t. the generative parameters, and thus do not work for discrete data. We introduce a method for training GANs with discrete data that uses the estimated difference measure from the discriminator to compute importance weights for generated samples, thus providing a policy gradient for training the generator. The importance weights have a strong connection to the decision boundary of the discriminator, and we call our method boundary-seeking GANs (BGANs). We demonstrate the effectiveness of the proposed algorithm with discrete image and character-based natural language generation. In addition, the boundary-seeking objective extends to continuous data, which can be used to improve stability of training, and we demonstrate this on Celeba, Large-scale Scene Understanding (LSUN) bedrooms, and Imagenet without conditioning.

研究の動機と目的

• 識別器の f-ダイバーンス推定を活用してジェネレータの更新のための重要度重みを形成することにより、離散データを用いた GAN の訓練に対して原理的な方法を提供する。
• 離散データおよび連続データの双方に対して安定なジェネレータ勾配を生み出す、低分散の境界志向目的を開発する。
• 離散画像および文字レベルの言語タスクで有効性を示し、高次元の連続ベンチマークで安定性の向上を示す。

提案手法

• GAN 目的を表現するために f-ダイバーンスの双対形を採用し、ニューラル識別器 T_phi を用いた変分下界を導く。
• 識別器を用いて最適な重要度重み w(x) = (d f* / dT)(T(x)) を計算し、密度推定量 tilde{p}(x) = w(x) q_theta(x) / beta を定義する。
• 離散データに対して、重要度重み付き推定量を用いた方策勾配風の更新を実装し、分散を低減する z 条件付きの低分散形 (tilde{p}(x|z)) を含む。
• 安定性を高めるための連続データ向け BGAN 目的を提案する: 最小化 (log w(G_theta(z)))^2、同値に F_phi(G_theta(z))^2、最適化に対して振る舞いが良い。
• 正規化された重みの計算とジェネレータおよび識別器の勾配更新を含む離散 BG AN 訓練アルゴリズム (Algorithm 1) を提供する。
• フレームワークを REINFORCE ベースのバリアントへ拡張し、分散低減のためのベースライン手法（beta のような定数を介して）に接続する。

実験結果

リサーチクエスチョン

• RQ1 f-ダイバーンス識別器から導かれる境界志向の目的は、離散データを用いたGANの効果的な訓練を可能にするか？
• RQ2 境界志向および重要度重み付き目的は、標準的な GAN および WGAN-GP と比較して、離散および連続の設定で安定性と性能を改善するか？
• RQ3 境界志向アプローチは連続データへ拡張可能で、高次元の画像ベンチマークで安定性の利点をもたらすか？
• RQ4 異なる f-ダイバーンス（GAN、Jensen-Shannon、KL、Reverse KL、Squared-Hellinger）は、離散タスクで_BGAN_と組み合わせた場合どのように機能するか？
• RQ5 連続 BG AN 訓練の安定性に対する勾配ノルム正規化の影響は何か？

主な発見

Measure	IS	REINFORCE
Baseline	26.6	-
WGAN (clipping)	72.3	-
GAN	26.2	27.1
Jensen-Shannon	26.0	27.7
KL	28.1	28.0
Reverse KL	27.8	28.2
Squared-Hellinger	27.0	28.0

• BGAN は、識別器由来の重要度重みを用いてジェネレータのポリシー勾配を形成することで、離散データ上の訓練を可能にする。
• 離散 CIFAR-10 分類実験では、重要度サンプリングを用いた BG AN が競争力のある誤差率（約 26%）を達成し、難しい設定で WGAN を大きく上回る。
• 離散 MNIST および量子化された CelebA の実験は安定した訓練と現実的で多様なサンプルを示し、設定上 WGAN-GP よりも良い性能。
• 1 billion word のデータでの文字レベル言語生成は、離散 BG AN が連続的緩和なしで意味のあるパターンを学べることを示し、安定性と実現可能性を示す。
• CelebA、LSUN、ImageNet での勾配ノルム正規化を伴う連続 BG AN 実験は高品質なサンプルを生み出し、BGAN は高次元設定での安定性を維持する。
• 連続 BG AN 目的 (log w(G_theta(z)))^2 は、変分下界のみに依存する場合よりも最適化の安定性を向上させ、特に勾配ノルム正規化を使用する場合に顕著である。