[論文レビュー] Unbiased Multilevel Monte Carlo: Stochastic Optimization, Steady-state Simulation, Quantiles, and Other Applications

José Blanchet, Peter W. Glynn+1 more|arXiv (Cornell University)|Apr 22, 2019

Mathematical Approximation and Integration被引用数 5

ひとこと要約

本稿では、有限の作業正規化分散を達成し、プロセッサあたりの作業量が有界な並列実装が可能な、バイアスのないマルチレベルモンテカルロ推定量を構築する一般枠組みを提案する。この手法により、確率的最適化における期待値、分位数、ネストド期待値、最適値のバイアスなし推定が可能となり、ヘッセ行列や密度情報に依存しない信頼区間が得られ、ややいびつな正則性条件下でも漸近的に有効な推論が保証される。

ABSTRACT

We present general principles for the design and analysis of unbiased Monte Carlo estimators in a wide range of settings. Our estimators posses finite work-normalized variance under mild regularity conditions. We apply our estimators to various settings of interest, including unbiased optimization in Sample Average Approximations, unbiased steady-state simulation of regenerative processes, quantile estimation and nested simulation problems.

研究の動機と目的

• 最適化、分位数推定、ネストドシミュレーションなどの複雑な確率的設定における、バイアスなしモンテカルロ推定の一般的かつ実装可能な枠組みの開発。
• 有限の作業正規化分散と有限の期待計算時間の確保により、プロセッサあたりの負荷が有界な効率的な並列化を可能にする。
• ヘッセ行列や密度情報が不要な状況でも、期待値の非線形関数（最適値関数や分位数を含む）の推定量からのバイアスを排除する。
• 漸近的近似に依存する複雑な微分情報に依存しない、単純な分散推定に基づく信頼区間の提供。
• 確率的シミュレーションおよび最適化分野における多様な応用にわたる、既存のデバイアス化技術の統合と一般化。

提案手法

• より細かい標本サイズから得られる推定量を、幾何分布に従うレベルでランダムに停止するルールに基づいて組み合わせることで、テレスコピング級数構成によりバイアスを除去する。
• 文献[19]および[18]のデバイアス化原理を応用し、独立なサブサンプル（奇数・偶数添え字）を用いて各レベルにおけるバイアスなし差分を構築する。
• 分位数推定のため、全標本のp-分位数と、レベルnにおける2つの独立なサブサンプルの平均値を用い、差分項∆nを形成する。
• 最終的な推定量はZ = ΔN / p(N) + Y_{2^{n_b}}で構成され、Nは幾何分布に従うランダムなレベルであり、これによりバイアスなしと有限分散が保証される。
• 本手法は、標本分位数が真の分位数にほとんど確実に収束することと一様可積分性に依存し、誤差の上限はバーダール型展開と集中不等式から導出される。
• 条件付き期待値および目的関数に対し、同じデバイアス化メカニズムを適用することにより、ネストドシミュレーションおよび確率的最適化への拡張が行われる。

実験結果

リサーチクエスチョン

• RQ1 期待値の非線形関数に対するバイアスなしモンテカルロ推定量を、有限の作業正規化分散とプロセッサあたりのコストが有界となるように構築可能か？
• RQ2 元の密度やヘッセ行列情報が不明な状況でも、分位数のバイアスなし推定は可能か？
• RQ3 提案手法を、有限の期待計算時間のもとで、ネストドシミュレーション問題および確率的最適化に一般化可能か？
• RQ4 ややいびつな正則性条件下で、得られる推定量の計算複雑度と分散の挙動はどのように振る舞うか？
• RQ5 漸近的分散近似に依存しない信頼区間の構築を可能にする並列実装は、どのように達成されるか？

主な発見

• 提案された推定量Zは、真のp-分位数xpに対してバイアスなしであり、仮定3のもとでE[Z] = xpが成り立つ。
• 推定量の分散は有限であり、幾何分布のパラメータrをr < 1 - 1/(2√2)となるように選べば、E[|ΔN / p(N)|²] < ∞が示される。
• 期待計算コストは有界であり、Δnの生成にはO(2^{N+1})の時間がかかり、幾何分布に従うNに対してE[2^N] < ∞が成り立つ（r > 1/2のとき）。
• 本手法により、作業正規化分散が有限に保たれ、プロセッサあたりの負荷が有界な効率的な並列化が可能となる。
• 推定量はO(1/ε²)の標本複雑度を達成し、標準的なマルチレベルモンテカルロと漸近的効率が一致するが、ストラティファイドサンプリングにより分散をさらに低減可能。
• 本枠組みは、確率的最適化、定常状態シミュレーション、ネストドシミュレーションに広く適用可能であり、単純な分散推定と信頼区間の構築が可能なバイアスなし推定量を提供する。