[論文レビュー] MuProp: Unbiased Backpropagation for Stochastic Neural Networks

Shixiang Gu, Sergey Levine+2 more|arXiv (Cornell University)|Nov 16, 2015

Gaussian Processes and Bayesian Inference参考文献 21被引用数 32

ひとこと要約

MuProp は、平均場ネットワークの1次テイラー展開に基づく制御変数を用いて、勾配の分散を著しく低減する不偏勾配推定器であり、確率的ニューラルネットワークにおけるバックプロパゲーションを組み合わせた、不偏な勾配推定器である。離散的潜在変数モデルにおいて、ストレートスラッグや尤度比法といったバイアス付き推定器よりも優れた一貫性のある性能を発揮し、MNISTタスクでは収束が速く、一般化性能も優れている。

ABSTRACT

Deep neural networks are powerful parametric models that can be trained efficiently using the backpropagation algorithm. Stochastic neural networks combine the power of large parametric functions with that of graphical models, which makes it possible to learn very complex distributions. However, as backpropagation is not directly applicable to stochastic networks that include discrete sampling operations within their computational graph, training such networks remains difficult. We present MuProp, an unbiased gradient estimator for stochastic networks, designed to make this task easier. MuProp improves on the likelihood-ratio estimator by reducing its variance using a control variate based on the first-order Taylor expansion of a mean-field network. Crucially, unlike prior attempts at using backpropagation for training stochastic networks, the resulting estimator is unbiased and well behaved. Our experiments on structured output prediction and discrete latent variable modeling demonstrate that MuProp yields consistently good performance across a range of difficult tasks.

研究の動機と目的

• 標準的なバックプロパゲーションが、非微分可能なサンプリング操作のため失敗する、離散的潜在変数を伴う確率的ニューラルネットワークの学習という課題に対処すること。
• バックプロパゲーションの効率性を活用しながらも収束保証を維持する不偏勾配推定器を開発すること。これにより、ストレートスラッグや尤度比法といった既存のバイアス付き推定器の限界を克服すること。
• 尤度比推定器の高い分散を、ヒューリスティックな近似に依存せずに低減すること。
• 連続的および離散的潜在変数を併用する深層確率的モデルの有効な学習を、単一の整合的フレームワークで可能にすること。
• 特にバイアス付き手法が失敗したり、変動したりするような状況においても、多様な構造予測および生成モデルタスクで一貫的かつ優れた性能を示すこと。

提案手法

• 平均場ネットワークの1次テイラー展開から導出される制御変数を用いて、勾配推定の分散を低減する不偏勾配推定器 MuProp を提案する。
• 確率的計算グラフにおける平均場近似を介してバックプロパゲーションを統合し、不偏性を保ちながらも効率的な勾配計算を可能にする。
• 制御変数技術を尤度比推定器に適用し、平均場ネットワークを介した決定的バックプロパゲーションで勾配を近似する項を差し引く。
• 任意の有向非巡回グラフ（DAG）に適用可能な一般化された定式化を導出する。これにより、連続的および離散的確率的変数の両方をサポートする。
• 制御変数の計算に1回の平均場パスのみを用いることで、計算効率を確保するとともに、標準的な尤度比推定器と比較して勾配の分散を顕著に低減する。
• 確率的計算グラフの微分可能で決定的な近似を用いて制御変数を計算し、全体の推定器が不偏かつ微分可能であることを保証する。

実験結果

リサーチクエスチョン

• RQ1 離散的潜在変数を伴う確率的ニューラルネットワークに対して、バックプロパゲーションを活用して分散を低減する不偏勾配推定器を設計できるか？
• RQ2 複雑なモデルにおいて、ストレートスラッグや尤度比法（分散低減付き）といったバイアス付き推定器と比較して、MuProp の性能と収束速度はどのように異なるか？
• RQ3 バイアス付き推定器が変動したり失敗したりするような状況でも、MuProp は異なるモデルアーキテクチャーや目的関数において一貫した性能を維持できるか？
• RQ4 連続的および離散的確率的変数の両方に対して、不偏性と計算効率を保ちながら、MuProp を効果的に適用できるか？
• RQ5 平均場近似を制御変数として用いることで、深層確率的ネットワークの訓練における安定性とサンプル効率がどの程度向上するか？

主な発見

• MNIST における最終的な変分下界（variational lower-bound）において、MuProp は分散低減付き尤度比推定器（NVIL）を常に上回り、テストスコアも全モデルアーキテクチャで優れた結果を達成した。
• カテゴリカルモデル（200×10）において、MuProp は NVIL より約3〜4倍速く収束し、制御変数として単なる平均値の差し引きしか使用していないにもかかわらず、顕著に低い勾配分散を示した。
• ストレートスラッグ（ST）と 1/2 推定器は一貫性のない性能を示した：SBN モデルでは ST が優れていたが、カテゴリカルモデルでは 1/2 が優れた性能を示した。これは、これらの手法の不安定さと、モデル構造への感受性の高さを示している。
• SBN 200-784 モデルでは、MuProp がテスト負の変分下界で 113.1 を達成したのに対し、NVIL は 113.5 であった。収束が速く、同等またはより優れた性能を発揮した。
• fDARN 200-784 モデルでは、MuProp が 92.9 を達成し、NVIL（92.1）を上回り、ST（110.2）や 1/2（94.2）を大きく上回った。これにより、その頑健性と信頼性が確認された。
• MuProp はすべてのタスクで安定的かつ信頼性のある性能を示したのに対し、バイアス付き推定器は特に深く複雑なモデルにおいて高い分散と予測不能な挙動を示した。