[论文解读] Data-driven Ranking and Selection under Input Uncertainty

Di Wu, Yuhao Wang+1 more|arXiv (Cornell University)|Aug 28, 2017

Simulation Techniques and Applications被引用 5

一句话总结

本文提出在输入不确定性下基于数据驱动的排序与选择方法，其中输入数据以流式批次到达，仿真输出使用移动平均估计器聚合以处理异质输入分布。SEIU-MCB 方法在减少仿真工作量的同时实现高统计置信度，尤其在优化丢弃率参数以提升效率方面表现突出。

ABSTRACT

We consider a simulation-based Ranking and Selection (R&S) problem with input uncertainty, where unknown input distributions can be estimated using input data arriving in batches of varying sizes over time. Each time a batch arrives, additional simulations can be run using updated input distribution estimates. The goal is to confidently identify the best design after collecting as few batches as possible. We first introduce a moving average estimator for aggregating simulation outputs generated under heterogenous input distributions. Then, based on a Sequential Elimination framework, we devise two major R&S procedures by establishing exact and asymptotic confidence bands for the estimator. In deriving the latter confidence bands, we incorporate the result of "Multiple Comparison with Best" and establish an asymptotic normality result which explicitly characterizes the tradeoff between input uncertainty and stochastic uncertainty in an online environment. We also extend our procedures to the indifference zone setting, which helps save simulation effort for practical usage. Numerical results show the effectiveness and necessity of our procedures. Moreover, the efficiency can be further boosted through optimizing the "drop rate" parameter of the estimator.

研究动机与目标

• 解决在输入分布不确定且随时间通过流式数据更新时，对最佳系统设计进行排序与选择的挑战。
• 开发一种仿真输出聚合方法，以应对随时间阶段演变的异质输入分布。
• 设计在输入不确定性及非独立同分布仿真输出下仍保持统计有效性的固定置信度排序与选择方法。
• 将框架扩展至无差异区域设置，以在实际应用中减少仿真工作量。
• 优化移动平均估计器中的丢弃率参数，以在不牺牲置信度的前提下提升方法效率。

提出的方法

• 引入移动平均估计器，用于在不同时间阶段聚合仿真输出，其中每个阶段使用来自新到达数据批次的更新输入分布估计值。
• 应用序列淘汰框架，结合精确与渐近置信带，以确保在输入不确定性下的统计有效性。
• 分别基于精确与渐近置信带，开发 SEIU 与 SEIU-MCB 方法，用于处理流式输入的固定置信度排序与选择。
• 将两种方法扩展至无差异区域（IZ）设置，以允许性能差异存在容忍度，从而减轻仿真负担。
• 优化移动平均估计器中的丢弃率参数（即丢弃过去仿真输出的比例），以提升效率。
• 通过数值实验验证所提方法在不同输入不确定性水平和数据批次大小下的统计特性与效率。

实验结果

研究问题

• RQ1 在流式数据环境中，如何一致地聚合来自不同时间阶段、具有异质输入分布的仿真输出，以估计系统性能？
• RQ2 输入不确定性对正确选择概率（PCS）有何影响，又该如何控制？
• RQ3 能否在时变输入分布下，为移动平均估计器构建精确与渐近置信带，以支持固定置信度排序与选择？
• RQ4 移动平均估计器中丢弃率的选择如何影响排序与选择方法的效率与统计有效性？
• RQ5 在存在输入不确定性的情况下，无差异区域设置在多大程度上可减少仿真工作量，同时保持目标 PCS？

主要发现

• 与基线 SEIU 方法相比，SEIU-MCB 方法实现的实证 PCS 值更接近目标值（例如 90% vs. 81%），且终止阶段显著减少（例如 17 vs. 364）。
• 当输入维度从 S=2 增加至 S=4 时，SEIU-MCB(IZ) 的终止阶段仅增加不到两倍，表明其对更高输入不确定性的鲁棒性。
• 优化移动平均估计器中的丢弃率参数，可同时提升正确选择概率与平均终止阶段，从而增强整体效率。
• 在高维情形（S=4）下，SEIU-MCB(IZ) 方法平均仅需 14 个阶段即可实现 90% 的实证 PCS，同时保持统计有效性。
• 所有方法均保持高统计置信度，SEIU 与 SEIU(IZ) 在所有设置下均实现 100% 的实证 PCS，尽管仿真工作量过大。
• 数值结果证实了考虑输入不确定性的重要性，并验证了所提置信带与方法的统计正确性。