[論文レビュー] REBAR: Low-variance, unbiased gradient estimates for discrete latent variable models

George Tucker, Andriy Mnih+3 more|arXiv (Cornell University)|Mar 21, 2017

Generative Adversarial Networks and Image Synthesis被引用数 167

ひとこと要約

REBAR は、離散潜在変数モデルのための偏りのない低分散勾配推定器を、緩和された Concrete 分布の REINFORCE 勾配と再パラメータ化勾配のギャップに基づくコントロール変数を用いてオンライン温度調整とともに導入します。

ABSTRACT

Learning in models with discrete latent variables is challenging due to high variance gradient estimators. Generally, approaches have relied on control variates to reduce the variance of the REINFORCE estimator. Recent work (Jang et al. 2016, Maddison et al. 2016) has taken a different approach, introducing a continuous relaxation of discrete variables to produce low-variance, but biased, gradient estimates. In this work, we combine the two approaches through a novel control variate that produces low-variance, \emph{unbiased} gradient estimates. Then, we introduce a modification to the continuous relaxation and show that the tightness of the relaxation can be adapted online, removing it as a hyperparameter. We show state-of-the-art variance reduction on several benchmark generative modeling tasks, generally leading to faster convergence to a better final log-likelihood.

研究の動機と目的

• 離散潜在変数の勾配推定における高分散問題を動機づけ、対処する。
• REINFORCE と再パラメータ化ベースのコントロール変数を組み合わせて低分散で偏りのない勾配 est imator を開発。
• 緩和連続近似 (Concrete) を導入し、条件付き周辺化を用いて分散削減を改善する。
• オンラインでの緩和温度の適応により追加のハイパーパラメータを排除する。
• 生成モデルと構造予測タスクで最先端の分散削減を実証する。

提案手法

• 緩和モデルの REINFORCE 勾配と再パラメータ化勾配の差に基づくコントロール変数を定義する。
• p(z|b) を使用してコントロール変数を条件付きに周辺化し REBAR を作成し、その後補正された再パラメータ化勾配と結合する。
• 計算と分散を減らすために乱数変数を結合する（u, v）。
• 温度パラメータ lambda を含む偏りのない勾配推定量を導出する。
• 推定量の分散を最小化することでオンラインで温度 lambda を最適化する。
• 高温度極限で MuProp への接続を議論し、多層確率的ネットワークへ拡張する。

Figure 1: Log variance of the gradient estimator (left) and loss (right) for the toy problem with $t=0.45$ . Only the unbiased estimators converge to the correct answer. We indicate the temperature in parenthesis where relevant.

実験結果

リサーチクエスチョン

• RQ1 緩和（Concrete 分布）を用いたコントロール変数を導入してもハイパーパラメータのチューニングなしで離散潜在変数モデルの偏りのない低分散勾配推定器を構築できるか？
• RQ2 緩和に基づくコントロール変数は既存の偏りなし推定器と比較して分散を大幅に削減するか？
• RQ3 緩和温度のオンライン適応はバイアスを導入せずに勾配分散をさらに低減できるか？
• RQ4 REBAR は NVIL、MuProp、Gumbel-Softmax/Concrete と比較して生成モデルと構造予測タスクでどのように性能を示すか？
• RQ5 様々な温度領域における REBAR、MuProp、SimpleMuProp の理論的および実践的関係は何か？

主な発見

• REBAR は、検証されたタスク全体において、偏りのない勾配推定器の中で最先端の分散削減を達成する。
• MNIST と Omniglot の生成モデリングにおいて、オンライン lambda 適応を用いた REBAR は勾配分散を一貫して削減し、収束と最終対数尤度を改善する。
• REBAR はいくつかの設定で Concrete (Gumbel-Softmax) 推定量を上回り、特に線形モデルで優れた性能を示し、非線形設定では同等かそれ以上の性能を達成する。
• 高温度極限で REBAR と MuProp の接続を示す修正された緩和を SimpleMuProp と呼ぶ。
• オンラインでの緩和温度の最適化は、バイアスを導入することなく分散を効果的に削減し、lambda を事前に指定する必要性を緩和する。

Figure 2: Log variance of the gradient estimator for the two layer linear model (left) and single layer nonlinear model (right) on the MNIST generative modeling task. All of the estimators are unbiased, so their variance is directly comparable. We estimated moments from exponential moving averages (