[論文レビュー] Data-driven Ranking and Selection under Input Uncertainty

Di Wu, Yuhao Wang+1 more|arXiv (Cornell University)|Aug 28, 2017

Simulation Techniques and Applications被引用数 5

ひとこと要約

本稿では、入力データがストリーミングバッチ形式で到着する中で入力不確実性下でのデータ駆動型ランク付けと選択手順を提案する。シミュレーション出力を、異種の入力分布に対応するため移動平均推定器を用いて集約する。SEIU-MCB手順は、特に効率性を最適化するためのドロップレートパラメータを最適化する際、少ないシミュレーション作業量で高い統計的信頼性を達成する。

ABSTRACT

We consider a simulation-based Ranking and Selection (R&S) problem with input uncertainty, where unknown input distributions can be estimated using input data arriving in batches of varying sizes over time. Each time a batch arrives, additional simulations can be run using updated input distribution estimates. The goal is to confidently identify the best design after collecting as few batches as possible. We first introduce a moving average estimator for aggregating simulation outputs generated under heterogenous input distributions. Then, based on a Sequential Elimination framework, we devise two major R&S procedures by establishing exact and asymptotic confidence bands for the estimator. In deriving the latter confidence bands, we incorporate the result of "Multiple Comparison with Best" and establish an asymptotic normality result which explicitly characterizes the tradeoff between input uncertainty and stochastic uncertainty in an online environment. We also extend our procedures to the indifference zone setting, which helps save simulation effort for practical usage. Numerical results show the effectiveness and necessity of our procedures. Moreover, the efficiency can be further boosted through optimizing the "drop rate" parameter of the estimator.

研究の動機と目的

• 入力分布が不確実で、ストリーミングデータにより時間とともに更新される状況下で、最良のシステム設計を特定するという課題に対処すること。
• 進化する入力データに起因する時間的段階ごとの異種の入力分布を考慮する、シミュレーション出力の集約手法を開発すること。
• 入力不確実性および非i.i.d.なシミュレーション出力が存在する状況下でも統計的妥当性を保つ固定信頼区間R&S手順を設計すること。
• 実用的応用におけるシミュレーション作業量を削減するために、無視領域（indifference zone）設定へのフレームワークの拡張。
• 移動平均推定器のドロップレート（過去のシミュレーション出力のうち破棄される割合）を最適化し、手順の効率性を向上させること。

提案手法

• 入力データバッチの到着に伴い更新される入力分布推定値を用い、各時間的段階で移動平均推定器を用いてシミュレーション出力を集約する手法を導入する。
• 正確かつ漸近的信頼区間を用いた逐次除外フレームワークを適用し、入力不確実性下でも統計的妥当性を保証する。
• 正確な信頼区間を用いたSEIU手順と、漸近的信頼区間を用いたSEIU-MCB手順をそれぞれ開発し、ストリーミング入力に対応する固定信頼区間R&Sを実現する。
• 両手順を無視領域（IZ）設定に拡張し、性能差の許容を許可することで、シミュレーション負荷を軽減する。
• 移動平均推定器のドロップレートパラメータ（過去のシミュレーション出力のうち破棄される割合）を最適化し、効率性を向上させる。
• 数値実験を用いて、提案手法の統計的性質および入力不確実性レベルやデータバッチサイズの変動に応じた効率性を検証する。

実験結果

リサーチクエスチョン

• RQ1 異種の入力分布を有する異なる時間的段階からのシミュレーション出力を、ストリーミングデータ環境下で一貫して集約し、システム性能を推定する方法は何か？
• RQ2 入力不確実性がランク付けと選択における正しく選択する確率（PCS）に与える影響は何か？ そして、その影響はどのように制御できるか？
• RQ3 時間的に変化する入力分布下で、移動平均推定器に対する正確な信頼区間と漸近的信頼区間を構築できるか？ これにより固定信頼区間R&Sが支援可能か？
• RQ4 移動平均推定器におけるドロップレートの選択が、R&S手順の効率性および統計的妥当性に与える影響は何か？
• RQ5 無視領域設定により、入力不確実性が存在する状況下でも、目標とするPCSを維持しつつ、どの程度シミュレーション作業量を削減できるか？

主な発見

• ベースラインのSEIU手順と比較して、SEIU-MCB手順は、実証的PCS値が目標（例：90% vs. 81%）にはるかに近づき、終了段階数も著しく減少（例：17段階 vs. 364段階）する。
• 入力次元がS=2からS=4に増加しても、SEIU-MCB(IZ)の終了段階数は2倍未満にとどまるため、より高い入力不確実性に対してもロバストであることが示された。
• 移動平均推定器のドロップレートパラメータを最適化することで、正しく選択する確率と平均終了段階数の両方が向上し、全体的な効率性が向上する。
• 高次元ケース（S=4）において、SEIU-MCB(IZ)手順は平均14段階で90%の実証的PCSを達成し、統計的妥当性を維持している。
• すべての手順が高い統計的信頼性を維持しており、SEIUおよびSEIU(IZ)はすべての設定で100%の実証的PCSを達成しているが、シミュレーション作業量が著しく過剰である。
• 数値結果から、入力不確実性を考慮することが不可欠であり、提案手法の信頼区間および手順の統計的正しさが妥当であることが確認された。