[論文レビュー] GANS for Sequences of Discrete Elements with the Gumbel-softmax Distribution

Matt J. Kusner, José Miguel Hernández-Lobato|arXiv (Cornell University)|Nov 12, 2016

Generative Adversarial Networks and Image Synthesis参考文献 11被引用数 207

ひとこと要約

この論文は、LSTMsを用いて離散トークンの系列を生成するために Gumbel-softmax 出力を持つ GAN を提案し、離散系列データの微分可能な学習を可能にする。 CFG 由来のテキスト生成タスクを学習させ、温度のアニーリングを用いた学習ダイナミクスを分析している。

ABSTRACT

Generative Adversarial Networks (GAN) have limitations when the goal is to generate sequences of discrete elements. The reason for this is that samples from a distribution on discrete objects such as the multinomial are not differentiable with respect to the distribution parameters. This problem can be avoided by using the Gumbel-softmax distribution, which is a continuous approximation to a multinomial distribution parameterized in terms of the softmax function. In this work, we evaluate the performance of GANs based on recurrent neural networks with Gumbel-softmax output distributions in the task of generating sequences of discrete elements.

研究の動機と目的

• 離れたバックプロパゲーションが直感的でない離散系列を生成する Generative Adversarial Networks の動機づけ。
• 離散トークン空間から微分可能なサンプルを得るための Gumbel-softmax 分布を導入。
• 離散系列を生成するための LSTM ベースの GAN を構築・訓練。
• CFG 生成系列タスクでアプローチを評価し、学習ダイナミクスとハイパーパラメータを分析。

提案手法

• 離散出力分布から微分可能なサンプルを作るために Gumbel-softmax (equation 4) を用いる。
• 生成器と識別器を系列をモデル化する trainable parameters を持つ LSTM として表現。
• Algorithm 1 のように G と D の交互更新で敵対的目的から GAN を訓練。
• 訓練中に Gumbel-softmax 温度 tau を 5 から 1 にアニーリングして、ソフトなサンプルからより硬いサンプルへ移行。
• 評価のために CFG ベースの制御された系列生成タスクを提供（最大長 12; 5000 サンプル）。
• 固定学習率 0.001 およびミニバッチサイズ 200 で ADAM 最適化を適用。

実験結果

リサーチクエスチョン

• RQ1 Gumbel-softmax は離散要素の系列に対する GAN の微分可能な訓練を可能にするか。
• RQ2 温度アニーリングは離散系列 GAN の品質と学習ダイナミクスにどう影響するか。
• RQ3 Gumbel-softmax を用いた GAN は CFG 生成の離散系列タスクをどの程度学習できるか。
• RQ4 離散データ上で両方が LSTM のとき、生成器と識別器は訓練中にどのように相互作用するか。

主な発見

• Gumbel-softmax を用いた GAN は、訓練データのパターン（例: 交互に現れる x の系列）のような離散系列を生成できる。
• 5000 サンプルの CFG ベースの離散系列タスクの訓練では、現実的な系列を生成できることを学習する（例: x+x−x/x および x−x*x*x*x）。
• 訓練中に Gumbel-softmax 温度を 5 から 1 にアニーリングすることで、微分可能性とモデル性能が時間とともに向上。
• 訓練中の生成サンプル数を 1000 に増やすと、最適化ダイナミクスと結果に影響を与える可能性がある。
• 20,000 ミニバッチ反復と ADAM 最適化を用いた方法は、離散系列生成の概念実証として有望な結果を示した。
• 著者は variational divergence minimization や density ratio estimation など、代替的な GAN 訓練手法による潜在的改善を指摘している。