[論文レビュー] Generalized Gumbel-Softmax Gradient Estimator for Generic Discrete Random Variables

Weonyoung Joo, Dongjun Kim+2 more|arXiv (Cornell University)|Mar 4, 2020

Advanced Graph Neural Networks被引用数 8

ひとこと要約

本稿では、無限サポートの切り捨て、線形変換、連続的緩和を組み合わせることで、ベルヌーイ分布やカテゴリカル分布を超えた一般の離散分布へまで拡張された、Gumbel-Softmaxトリックを一般化した再パラメータライゼーション勾配推定器「Generalized Gumbel-Softmax（GenGS）」を提案する。変分オートエンコーダー（VAE）およびトピックモデルにおける実験では、既存の推定器と比較してより低いパープレキシティとより安定した学習を達成し、最先端の性能を示した。

ABSTRACT

Estimating the gradients of stochastic nodes in stochastic computational graphs is one of the crucial research questions in the deep generative modeling community, which enables the gradient descent optimization on neural network parameters. Stochastic gradient estimators of discrete random variables are widely explored, for example, Gumbel-Softmax reparameterization trick for Bernoulli and categorical distributions. Meanwhile, other discrete distribution cases such as the Poisson, geometric, binomial, multinomial, negative binomial, etc. have not been explored. This paper proposes a generalized version of the Gumbel-Softmax estimator, which is able to reparameterize generic discrete distributions, not restricted to the Bernoulli and the categorical. The proposed estimator utilizes the truncation of discrete random variables, the Gumbel-Softmax trick, and a special form of linear transformation. Our experiments consist of (1) synthetic examples and applications on VAE, which show the efficacy of our methods; and (2) topic models, which demonstrate the value of the proposed estimation in practice.

研究の動機と目的

• 深層生成モデルにおけるポアソン分布、幾何分布、二項分布、負の二項分布などの一般の離散分布に対する有効な勾配推定器の欠如を解決すること。
• Gumbel-Softmax再パラメータライゼーショントリックをベルヌーイ分布やカテゴリカル分布を超えて、より広範な離散分布族へと拡張すること。
• 非カテゴリカルな離散潜在変数を含む確率的計算グラフにおける勾配逆伝播を安定的かつ効率的に可能にすること。
• 明示的および暗黙的事後分布推論を両立できる、確率論的に根拠のある実装可能な手法を提供すること。

提案手法

• 無限サポートの切り捨てを用いて、任意の離散分布を再パラメータライズする一般化されたGumbel-Softmax（GenGS）推定器を提案する。
• 切り捨てられた離散分布をGumbel-Softmax緩和と互換性のある形に写像するための線形変換を適用する。
• Gumbel-Softmaxトリックを用いて離散サンプリングプロセスの連続的緩和を構築し、勾配の逆伝播を可能にする。
• 計算上の取り扱いやすさを確保しつつ分布の忠実性を維持するため、有限レベルでの切り捨てを導入する。
• 変換された分布の構造を活用して、明示的および暗黙的事後分布推論を両立可能にする。
• 温度の段階的低下とマルチサンプル推定を活用し、深層モデルにおける学習の安定性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 Gumbel-Softmaxトリックは、ベルヌーイ分布やカテゴリカル分布を超える、例えばポアソン分布や幾何分布といった離散分布に対しても一般化可能か？
• RQ2 無限サポートを持つ離散分布は、深層生成モデルにおける微分可能最適化のために効果的に再パラメータライズ可能か？
• RQ3 提案されたGenGS推定器は、学習の安定性とモデル尤度の観点で、既存の勾配推定器を上回っているか？
• RQ4 GenGSは、スタックド変分オートエンコーダーやトピックモデルのような複雑なモデルに対しても効果的に適用可能か？

主な発見

• マルチスタックトピックモデリングにおいて、20Newsgroupsデータセット（562 ± 11.5）およびRCV1データセット（576 ± 18.8）でGenGSが最低のパープレキシティを達成し、すべてのベースラインを上回った。
• 1スタックの20Newsgroups設定において、GenGSは759 ± 13.1のパープレキシティを達成し、次に優れた手法（StoRB∗ 919 ± 16.2）を著しく上回った。
• マルチスタックのRCV1ケースでは、GenGSが唯一安定して収束した。他の手法（RF*、NVIL、MuProp）は最適性能に到達できなかった。
• GenGSにおける温度の段階的低下とマルチサンプリングの活用により、深層階層モデルにおける学習の安定性と尤度最適化が向上した。
• GenGSは、合成VAE実験および実世界のトピックモデリング応用の両方において一貫した優位性を示した。