[論文レビュー] On Nesting Monte Carlo Estimators

Tom Rainforth, Robert Cornish+3 more|arXiv (Cornell University)|Sep 18, 2017

Machine Learning and Algorithms被引用数 45

ひとこと要約

この論文は、ネストドモンテカルロ（NMC）推定器の厳密な理論的分析を提供し、収束速度を確立するとともに、収束する条件を同定する。特定のネストド期待値を単一の期待値に変換する、新しい再定式化技術を導入し、深さ2のネストにおいて $O(1/T^{2/3})$ の優れた収束速度を達成する。これは、ナイーブなNMCの標準的で遅い $O(1/T^{1/2})$ の収束速度よりも顕著に速い。この結果は、ベイズ実験設計および変分オートエンコーダーにおいて実証された。

ABSTRACT

Many problems in machine learning and statistics involve nested expectations and thus do not permit conventional Monte Carlo (MC) estimation. For such problems, one must nest estimators, such that terms in an outer estimator themselves involve calculation of a separate, nested, estimation. We investigate the statistical implications of nesting MC estimators, including cases of multiple levels of nesting, and establish the conditions under which they converge. We derive corresponding rates of convergence and provide empirical evidence that these rates are observed in practice. We further establish a number of pitfalls that can arise from naive nesting of MC estimators, provide guidelines about how these can be avoided, and lay out novel methods for reformulating certain classes of nested expectation problems into single expectations, leading to improved convergence rates. We demonstrate the applicability of our work by using our results to develop a new estimator for discrete Bayesian experimental design problems and derive error bounds for a class of variational objectives.

研究の動機と目的

• 非線形変換を内側の期待値に適用する状況下における、ネストドモンテカルロ推定器の統計的収束特性を分析すること。
• 収束が不一致または遅延を引き起こす、ナイーブなモンテカルロ推定器のネストにおける一般的な落とし穴を同定し、解決すること。
• 複数段階のネストド期待値を、より高速な収束速度を達成するための単一の期待値に変換する一般化されたフレームワークを構築すること。
• 理論的結果をベイズ実験設計および変分推論における実用的問題に適用し、推定精度の向上を実証すること。
• 機械学習および統計分野におけるネストドモンテカルロ手法の使用に関する、統一された理論的かつ実用的なガイドラインを提供すること。

提案手法

• 一般条件下でのネストドモンテカルロ推定器の収束速度を導出し、非線形関数が適用される場合、内側および外側の推定器が両方とも増加するサンプルサイズを用いる必要があることを示した。
• D段階のネストに対して理論的最適収束速度 $O(1/T^{2/(D+2)})$ を確立した。ここで $T$ は総サンプル予算を表す。
• 特定のクラスのネストド期待値を、結合分布の再パrameterization を用いて単一の期待値に変換する、新しい再定式化技術を提案した。これにより、標準的なモンテカルロ推定が可能になる。
• 再定式化をベイズ実験設計に適用し、期待情報量の利得を、収束が改善された単一の期待値に変換した。
• 遅延割引モデルにおけるシミュレーションを通じた実証的検証により、提案された推定器とナイーブNMCを比較し、分散が低く、収束が速いことを示した。
• 分散低減およびバイアス解析を用いて、平均二乗誤差（MSE）の観点から、再定式化された推定器が標準的NMCを上回ることを正当化した。

実験結果

リサーチクエスチョン

• RQ1 内側の期待値に非線形関数を適用する場合、ネストドモンテカルロ推定器の収束条件および収束速度は何か？
• RQ2 なぜナイーブなネスト戦略は最適収束に到達できないのか？このようなアプローチにおける主な統計的落とし穴は何か？
• RQ3 特定のクラスのネストド期待値問題を、収束速度を向上させるために単一の期待値に再定式化できるか？
• RQ4 提案された再定式化手法は、ベイズ実験設計のような実世界の応用において、推定精度をどのように向上させるか？
• RQ5 これらの理論的結果は、確率的プログラミングおよび変分推論フレームワークにどのような実用的意味を持つのか？

主な発見

• D段階のネストドモンテカルロ推定器の最適収束速度は $O(1/T^{2/(D+2)})$ であり、ナイーブネストの $O(1/T^{1/(D+1)})$ の速度よりも顕著に速い。
• 深さ2のネスト（例：ベイズ実験設計）において、提案された再定式化により収束速度が $O(1/T^{2/3})$ に向上し、標準的なナイーブNMCの $O(1/T^{1/2})$ の速度を上回る。
• 実証的結果から、再定式化された推定器は、ナイーブNMCに比べて顕著に低い分散と速い収束を示しており、$T=10^4$ のサンプルを用いた遅延割引モデルで実証された。
• この手法により、二重に不確実性のある（doubly-intractable）および複数重に不確実性のある推論問題（Kullback-Leibler発散やエントロピー項を含むものも含む）においても一貫した推定が可能になった。
• 理論的分析により、外側の期待値に非線形写像（例：対数関数）が含まれる場合、収束のためには内側および外側の推定器の両方でサンプルサイズが発散する必要があることが確認された。
• 再定式化技術は、変分目的関数およびベイズ実験設計に適用可能であり、よりタイトな誤差バインディングと期待効用の改善された推定をもたらした。