[論文レビュー] Categorical Reparameterization with Gumbel-Softmax

Eric Jang, Shixiang Gu+1 more|arXiv (Cornell University)|Nov 3, 2016

Neural Networks and Applications被引用数 3,222

ひとこと要約

Gumbel-Softmaxを導入し、カテゴリカル変数の微分可能な連続緩和を提供して真のワンホットサンプルへアニーリングできるようにする。これにより離散的な選択を通じたバックプロパゲーションが可能となり、半教師付き学習を高速化する。

ABSTRACT

Categorical variables are a natural choice for representing discrete structure in the world. However, stochastic neural networks rarely use categorical latent variables due to the inability to backpropagate through samples. In this work, we present an efficient gradient estimator that replaces the non-differentiable sample from a categorical distribution with a differentiable sample from a novel Gumbel-Softmax distribution. This distribution has the essential property that it can be smoothly annealed into a categorical distribution. We show that our Gumbel-Softmax estimator outperforms state-of-the-art gradient estimators on structured output prediction and unsupervised generative modeling tasks with categorical latent variables, and enables large speedups on semi-supervised classification.

研究の動機と目的

• 神経回路網における解釈可能で効率的な表現のために離散的潜在変数の使用を動機づける。
• カテゴリカルサンプルのバックプロパゲーションを可能にする微分可能な勾配推定量を提供する。
• Gumbel-Softmaxを、カテゴリ分布へとアニーリングできる連続的緩和として導入する。
• 構造化予測および変分モデリングタスクで、従来の推定量より性能が向上することを示す。
• 多クラスを含む半教師付き分類での学習をより高速化できることを示す。

提案手法

• カテゴリサンプルの微分可能な緩和として、単体上のGumbel-Softmax分布を定義する。
• logitsとGumbelノイズからy_iを得るために、Gumbel-Maxトリックと温度τを用いたsoftmaxを用いる（y_iの式）。
• Gumbel-Softmax（concrete）分布の密度p_π,τ(y)を導出する。
• yをパラメータ化再パラメータ化を通じてバックプロパゲーション可能にするGumbel-Softmax推定量を提案する（パス微分）。
• forwardパスでyを離散化するStraight-Through変種を導入するが、勾配計算には連続的なyを用いる。
• τのアニーリングスケジュールと、それをエントロピー正則化としての解釈を説明する。

実験結果

リサーチクエスチョン

• RQ1 Gumbel-Softmaxは、従来の推定量と比べて低分散の微分可能な勾配をカテゴリ変数に提供できるか。
• RQ2 構造化出力予測および変分オートエンコーダータスクにおけるGumbel-Softmax推定量の性能を、既存の勾配推定法と比較してどうであるか。
• RQ3 このアプローチは、多数のクラスを持つ半教師付き学習をより高速かつスケーラブルに実現できるか。
• RQ4 ソフトマックス温度のアニーリングが訓練の安定性と性能に与える影響は何か。

主な発見

SF	DARN	MuProp	ST	Annealed ST	Gumbel-Softmax	ST Gumbel-Softmax
72.0	59.7	58.9	58.9	58.7	58.5	59.3
73.1	67.9	63.0	61.8	61.1	59.0	59.7
112.2	110.9	109.7	116.0	111.5	105.0	111.5
110.6	128.8	107.0	110.9	107.8	101.5	107.8

• Gumbel-Softmaxは、Bernoulliおよびカテゴリ潜在変数の双方で単一サンプル勾配推定量を上回る。
• ST Gumbel-Softmaxは多くの場合、性能を一致または上回る。Gumbel-Softmaxはタスク全体で一般的に最も良い性能を示す。
• 本手法は、多数クラスを持つ半教師付き分類において、周辺化ベース推論と比較して著しい学習速度向上をもたらす。
• 温度τのアニーリングは、偏り（離散性への収束）と勾配分散の間の制御可能なトレードオフを提供し、実用的なスケジュールが良好に機能する。
• MNISTベースのタスク（SBNおよびVAE）で、対数尤度指標（nats）の改善を示し、半教師付き設定では精度を犠牲にすることなく収束が速くなる。
• このアプローチは離散潜在変数を介したバックプロパゲーションを可能にし、大規模なカテゴリ空間を持つモデルのスケーラブルな学習を促進する。