[論文レビュー] Statistical Uncertainty Analysis for Stochastic Simulation

Wei Xie, Nelson, Barry L.+1 more|arXiv (Cornell University)|Nov 9, 2020

Simulation Techniques and ApplicationsDecision Sciences参考文献 31被引用数 22

ひとこと要約

本稿では、データ駆動型の分布推定から得られる入力不確実性と、限られた反復回数に起因するシミュレーション不確実性を統合的に考慮することで、確率的シミュレーションにおける総統計的不確実性を定量化するメタモデル支援型ブートストラップ手法を提案する。応答面をモデル化するための確率的クリギングと、入力ばらつきを捉えるためのブートストラップリサンプリングを用いることで、メタモデルの不確実性が高くなっても依然として頑健な信頼区間が得られ、不確実性低減のための意思決定を支援する分散分解が可能となる。

ABSTRACT

When we use simulation to evaluate the performance of a stochastic system, the simulation often contains input distributions estimated from real-world data; therefore, there is both simulation and input uncertainty in the performance estimates. Ignoring either source of uncertainty underestimates the overall statistical error. Simulation uncertainty can be reduced by additional computation (e.g., more replications). Input uncertainty can be reduced by collecting more real-world data, when feasible. This paper proposes an approach to quantify overall statistical uncertainty when the simulation is driven by independent parametric input distributions; specifically, we produce a confidence interval that accounts for both simulation and input uncertainty by using a metamodel-assisted bootstrapping approach. The input uncertainty is measured via bootstrapping, an equation-based stochastic kriging metamodel propagates the input uncertainty to the output mean, and both simulation and metamodel uncertainty are derived using properties of the metamodel. A variance decomposition is proposed to estimate the relative contribution of input to overall uncertainty; this information indicates whether the overall uncertainty can be significantly reduced through additional simulation alone. Asymptotic analysis provides theoretical support for our approach, while an empirical study demonstrates that it has good finite-sample performance.

研究の動機と目的

• 入力不確実性とシミュレーション不確実性の両方が存在する場合に、総統計的誤差が過小評価されてしまう問題に対処すること。
• 有限の現実世界データからの入力不確実性と、応答面近似に起因するメタモデル不確実性の両方を考慮した信頼区間推定器を開発すること。
• 入力不確実性が総不確実性に占める相対的寄与度を定量化する分散分解指標を提供し、より多くのデータ収集か、より多くのシミュレーション実行かを意思決定する支援を行うこと。
• 特に計算リソースが限られた状況や不安定なブートストラップモーメントが生じる状況においても、有限標本での性能が頑健であることを保証すること。

提案手法

• 現実世界のデータに対するノンパラメトリックブートストラップリサンプリングを用いて、複数のパラメータ推定値を生成することで、入力不確実性を定量化する。
• 応答面をモデル化するための確率的クリギングメタモデルを、ブートストラップでリサンプリングされたパラメータ設定の下で適合させ、入力不確実性を出力平均に伝播させる。
• メタモデル不確実性は、推定誤差と予測誤差の両方を考慮した確率的クリギングモデルの予測分散から導出する。
• メタモデルの性質とブートストラップ分散を用いて、入力不確実性とメタモデル不確実性の両方を含む組み合わせ信頼区間（CI+）を構築する。
• 入力不確実性が総不確実性に占める相対的寄与度を推定するための分散分解を適用し、その定義は入力分散を総分散で割った比として与えられる。
• 真の応答面がパrametersが既知のガウス過程であるという仮定の下で、信頼区間の漸近的一貫性を証明する。

実験結果

リサーチクエスチョン

• RQ1 確率的シミュレーション出力において、入力不確実性とメタモデル不確実性の両方を考慮した信頼区間を構築できるか？
• RQ2 メタモデル不確実性が顕著で、計算リソースが限られた有限標本において、提案手法はどのように性能を示すか？
• RQ3 入力不確実性が総不確実性をどれほど支配しているか、そしてその程度を定量化することで、データ収集とシミュレーション実行のリソース配分を支援できるか？
• RQ4 小規模な現実世界データサンプルに起因する不安定なブートストラップモーメントが生じた場合でも、この手法は適切な被覆確率を維持するか？

主な発見

• 提案された信頼区間（CI+）は、高めのメタモデル不確実性が存在する状況を含め、さまざまなシナリオにおいて名目水準に近い被覆率を維持する一方、ベースライン手法（CI0）はメタモデル不確実性が無視できない場合に失敗する。
• 分散分解比 $\widehat{\sigma}_{I}/\widehat{\sigma}_{T}$ は、入力不確実性が総不確実性に占める相対的寄与度を効果的に推定することができ、メタモデル不確実性が低い場合には1.0に近づき、より多くの現実世界データが得られるにつれて減少する。
• 実際のデータ点数 $m = 5000$ の場合、$\widehat{\sigma}_{I}/\widehat{\sigma}_{T}$ は0.974に達し、入力不確実性が主な誤差要因であることを示唆しており、CI0とCI+の両方がほぼ名目水準の被覆率を達成した。
• 不安定なブートストラップモーメント（例：$m = 50$）が生じた場合でも、本手法は保守的である傾向を示した：CI0の4.4%およびCI+の3.8%が真の平均の下限を上回っており、過剰被覆（undercoverageではなくovercoverage）であることが示された。
• 従来の手法とは異なり、本手法は、メタモデル不確実性を低減するための逐次的実験を必要とせず、計算コストの高いシミュレーションに適している。
• 実験的結果から、混合離散・連続入力分布と厳しい計算制約を伴う複雑な問題においても、良好な有限標本性能が示された。