[論文レビュー] Reparameterization trick for discrete variables

Seiya Tokui, Issei Sato|arXiv (Cornell University)|Nov 4, 2016

Gaussian Processes and Bayesian Inference参考文献 10被引用数 8

ひとこと要約

本稿では、離散変数の周辺化と、すべての構成に対して共有されるノイズ要因の使用により、離散変数に対する再パラメータ化トリックを提案する。これにより、共通の確率的乱数を用いた低分散勾配推定が可能となり、最適な入力依存ベースラインを用いた尤度比法よりも低い分散を理論的に保証する。この手法は、シグモイド信念ネットワークにおける変分推論において、より高速な収束と優れた性能を達成する。

ABSTRACT

Low-variance gradient estimation is crucial for learning directed graphical models parameterized by neural networks, where the reparameterization trick is widely used for those with continuous variables. While this technique gives low-variance gradient estimates, it has not been directly applicable to discrete variables, the sampling of which inherently requires discontinuous operations. We argue that the discontinuity can be bypassed by marginalizing out the variable of interest, which results in a new reparameterization trick for discrete variables. This reparameterization greatly reduces the variance, which is understood by regarding the method as an application of common random numbers to the estimation. The resulting estimator is theoretically guaranteed to have a variance not larger than that of the likelihood-ratio method with the optimal input-dependent baseline. We give empirical results for variational learning of sigmoid belief networks.

研究の動機と目的

• 離散潜在変数を有する確率的グラフィカルモデルにおける低分散勾配推定の挑戦に取り組む。
• 再パラメータ化トリックを連続変数に限らず離散変数へ拡張する。特に、周辺化によって不連続なサンプリング操作を回避する。
• 特にシグモイド信念ネットワークのような深層アーキテクチャにおいて、離散モデルの変分推論における勾配分散を低減する。
• 既存の尤度比推定器よりも分散と最適化の安定性において優れる理論的根拠に基づく手法を提供する。

提案手法

• 関心の対象である離散変数を周辺化することで、不連続なサンプリング操作を回避し、再パラメータ化を適用可能にする。
• 離散変数のすべての構成に対して共有されるノイズ要因を用い、勾配推定に共通の確率的乱数技術を効果的に適用する。
• 離散変数のすべての構成を同時にシミュレートすることで勾配を計算し、共有されたランダムネスを活用して分散を低減する。
• すべての変数の共同再パラメータ化を再定式化し、離散変数の分布を周辺化する。
• 理論的に、最適な入力依存ベースラインを用いた尤度比推定器の分散を超えないことが示される。
• すべての離散変数の構成を一度の順方向伝搬で生成し、すべての構成に共有ノイズを適用し、バックプロパゲーションにより勾配を計算する。

実験結果

リサーチクエスチョン

• RQ1 離散変数に内在するサンプリングの不連続性を考慮しても、再パラメータ化トリックを拡張可能か？
• RQ2 離散変数を周辺化することで、連続再パラメータ化と同等の低分散勾配推定が可能か？
• RQ3 すべての構成に共有ノイズを用いることで、既存手法よりもより効果的に勾配分散を低減できるか？
• RQ4 深層離散モデルにおける最適化速度とモデル性能の観点から、提案手法は尤度比法よりも優れるか？
• RQ5 提案手法の分散低減は、尤度比フレームワークにおける最良のベースラインと比較して理論的に保証されるか？

主な発見

• 理論的に、最適な入力依存ベースラインを用いた尤度比法よりも著しく低い勾配分散を達成する。
• SBNを用いたMNIST実験では、変分下界の観点で尤度比法を上回り、32-64-128-256アーキテクチャで2.04 natsの改善を達成した。
• とくに深層モデルにおいて、尤度比法と比較して勾配推定の分散が最大10^8倍まで低減された。
• 構成数Mの最大M倍の計算コストがかかるものの、GPU上では並列化の効果により、2倍未満の実行時間で実現された。
• 収束が早く、一般化性能も優れており、とくに勾配品質が最適化に与える影響が顕著な深層アーキテクチャで顕著であった。
• 32-64-128-256 SBNにおいて、提案手法で学習したモデルはテストセットの負の対数尤度が92.79に達したのに対し、尤度比法では94.73であった。