[論文レビュー] Neural Control Variates for Variance Reduction

Ruosi Wan, Mingjun Zhong+2 more|arXiv (Cornell University)|Jun 1, 2018

Model Reduction and Neural Networks参考文献 7被引用数 17

ひとこと要約

この論文は、特に少数サンプルの状況下で、モンテカルロ積分における分散低減を目的として、ニューラルネットワークを用いて制御変数を学習するための制約付きニューラル制御変数（CNCV）を提案する。センター化および正則化の制約を課すことにより、CNCVは過学習を軽減し、合成的および実世界のベイジアン推論タスクにおいて顕著な分散低減を達成し、最先端の手法を上回る性能を示す。

ABSTRACT

In statistics and machine learning, approximation of an intractable integration is often achieved by using the unbiased Monte Carlo estimator, but the variances of the estimation are generally high in many applications. Control variates approaches are well-known to reduce the variance of the estimation. These control variates are typically constructed by employing predefined parametric functions or polynomials, determined by using those samples drawn from the relevant distributions. Instead, we propose to construct those control variates by learning neural networks to handle the cases when test functions are complex. In many applications, obtaining a large number of samples for Monte Carlo estimation is expensive, which may result in overfitting when training a neural network. We thus further propose to employ auxiliary random variables induced by the original ones to extend data samples for training the neural networks. We apply the proposed control variates with augmented variables to thermodynamic integration and reinforcement learning. Experimental results demonstrate that our method can achieve significant variance reduction compared with other alternatives.

研究の動機と目的

• ベイジアン推論や複雑なモデル統合において、特にサンプルサイズが限られる状況での高分散モンテカルロ推定量に対処すること。
• 小規模データセット上で訓練されたニューラルネットワークベースの制御変数における過学習問題を克服すること。
• 高次元および複雑なテスト関数設定における制御変数の一般化およびロバスト性を向上させること。
• 分布外のサンプルに対するベイジアンニューラルネットワーク予測の過信を軽減すること。
• 実用的な機械学習応用において、低バイアスを維持しながら高い分散低減を達成できる分散低減手法を開発すること。

提案手法

• 非線形で複雑な制御関数を分散低減のためにモデル化するため、深層ニューラルネットワークを用いたニューラル制御変数（NCV）を提案する。
• 制御変数がゼロ平均（センター化）を持つことを要求し、小規模データセットでの過学習を防ぐために正則化を施す制約付き最適化フレームワークを導入する。
• 期待値 E[g(θ)] = 0 の制約をペナルティ関数または射影機構を用いて強制する損失関数を採用し、推定量の分散を最小化する。
• ベイジアンモデル証拠やベイジアンニューラルネットワークを含む、複雑な事後分布下での期待値のモンテカルロ推定にこの手法を適用する。
• 標的分布から抽出された有限個のサンプル上で、確率的勾配降下法を用いてニューラルネットワーク制御変数を訓練する。
• 制御変数を g(θ) = f(θ) + h(θ; φ) として定式化し、h はパラメータ φ を持つニューラルネットワークである。最終的な推定量は E[f(θ)] ≈ (1/n)Σ(f(θ_i) + g(θ_i)) で、g(θ_i) はデータから学習される。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークは、高次元および非線形な設定下で、モンテカルロの分散低減に向けた複雑な制御変数を効果的にモデル化できるか？
• RQ2 小規模データセット上で訓練されたニューラル制御変数は深刻な過学習を引き起こすか？ もしそうならば、どのようにしてこれを軽減できるか？
• RQ3 ニューラル制御変数の制約付き最適化は、制約なしの訓練に比べて一般化性能を向上させ、分散低減をより効果的に行えるか？
• RQ4 本手法は、モデル証拠推定やBNNにおける分布外検出といった、限られたサンプルを用いた実世界のベイジアン推論タスクでどのように性能を発揮するか？
• RQ5 CNCVは、分布外のサンプルに対するベイジアンニューラルネットワーク予測の過信を低減できるか？

主な発見

• CNCVは、合成的および実データ問題の両方で、線形制御変数や制御関数法と比較して顕著な分散低減を達成した。
• ベイジアンモデル証拠評価において、CNCVは特に少数サンプルの状況下で、最先端の手法を上回る分散低減効果を示した。
• ベイジアンニューラルネットワーク推論において、CNCVは分布外（OOD）サンプルに対して、vanilla BNN や線形制御変数ベースラインと比較して最小のエントロピー値を達成し、過信の低減を示した。
• 二次的制御変数や制御関数法は、次元の高さと計算コストの高さのため、満足のいく分散低減を達成できなかった。
• ボックスプロット分析から、CNCVは分布外サンプルにおける予測スコアのばらつきがわずかに安定していたが、主な改善はエントロピーで測定された過信の低減であった。
• ホールドアウトテストサンプルにおける一般化性能の向上と分散の低減が観察されたことから、制約付きトレーニング体制がニューラル制御変数の過学習を効果的に軽減したことが裏付けられた。