[論文レビュー] The Concrete Distribution: A Continuous Relaxation of Discrete Random Variables

Chris J. Maddison, Andriy Mnih+1 more|arXiv (Cornell University)|Nov 2, 2016

Geotechnical Engineering and Analysis被引用数 1,036

ひとこと要約

本論文は Concrete random variables を導入します。これは単体上の離散変数の連続的緩和で、閉形式の密度と再パラメータ化を備え、離散ノードを持つ確率的計算グラフの勾配法による低分散最適化を可能にします。

ABSTRACT

The reparameterization trick enables optimizing large scale stochastic computation graphs via gradient descent. The essence of the trick is to refactor each stochastic node into a differentiable function of its parameters and a random variable with fixed distribution. After refactoring, the gradients of the loss propagated by the chain rule through the graph are low variance unbiased estimators of the gradients of the expected loss. While many continuous random variables have such reparameterizations, discrete random variables lack useful reparameterizations due to the discontinuous nature of discrete states. In this work we introduce Concrete random variables---continuous relaxations of discrete random variables. The Concrete distribution is a new family of distributions with closed form densities and a simple reparameterization. Whenever a discrete stochastic node of a computation graph can be refactored into a one-hot bit representation that is treated continuously, Concrete stochastic nodes can be used with automatic differentiation to produce low-variance biased gradients of objectives (including objectives that depend on the log-probability of latent stochastic nodes) on the corresponding discrete graph. We demonstrate the effectiveness of Concrete relaxations on density estimation and structured prediction tasks using neural networks.

研究の動機と目的

• 離散ノードを持つ確率的計算グラフに対する勾配ベースの最適化を動機づける。
• 単体上の離散変数の連続的緩和（Concrete 分布）を導入する。
• Concrete 緩和が再パラメータ化を通じて離散グラフの低分散で有偏勾配を可能にすることを示す。
• ニューラルネットワークを用いた密度推定および構造化予測タスクでの有効性を実証する。

提案手法

• Concrete distribution を、パラメータ α と温度 λ を用いた単位超球（simplex）上のワンホット離散変数の連続的緩和として定義する。
• 単体上の閉形式密度 p_{α,λ} を導出し、Gumbel 摂動による再パラメータ化を確立する。
• 訓練時に離散ノードを Concrete ノードに置換し、対数確率項を適切に緩和する方法を説明する。
• MNIST および Omniglot タスクで Concrete 緩和をスコア関数推定量（例: VIMCO/NVIL）と比較する。
• 温度の選択と緩和の離散性および整合性ギャップへの影響について議論する。

実験結果

リサーチクエスチョン

• RQ1 離散変数の連続的緩和は、離散ノードを持つ確率的グラフの勾配ベースの最適化を可能にするか。
• RQ2 Concrete 分布は、離散潜在変数を持つニューラルネットワークの訓練において、閉形式密度と実用的な再パラメータ化を提供するか。
• RQ3 密度推定および構造化予測における Concrete 緩和の性能は、最先端の推定法と比較してどうか。
• RQ4 温度（λ）の離散性およびモデル性能への経験的影響は何か。

主な発見

• Concrete 緩和は、確率計算グラフ内の離散的確率的ノードに対して低分散の勾配を生み出す。
• Concrete 分布は閉形式の密度を持ち、Gumbel 摂動とソフトマックスを用いた直接的な再パラメータ化を提供する。
• 経験的には、Concrete 緩和は MNIST および Omniglot の密度推定で VIMCO/NVIL と競合し、構造化予測の場面でしばしば優れる。
• 温度は離散性を制御することを示す。低温は離散的挙動へ、高温は内部解を維持し、整合性ギャップに影響を与える。
• Concrete 分布の離散ゼロ温度極限は元の離散分布に対応し、テスト時に離散グラフで評価を可能にする。