[논문 리뷰] Data-driven Ranking and Selection under Input Uncertainty

Di Wu, Yuhao Wang외 1명|arXiv (Cornell University)|2017. 08. 28.

Simulation Techniques and Applications인용 수 5

한 줄 요약

이 논문은 스트리밍 배치로 도착하는 입력 데이터와 이질적인 입력 분포를 처리하기 위해 이동 평균 추정기로 시뮬레이션 출력을 집계하는 입력 불확실성 하에서 데이터 기반 순위 매기기 및 선택 절차를 제안한다. SEIU-MCB 절차는 시뮬레이션 노력이 감소함에도 불구하고 높은 통계적 신뢰도를 달성하며, 특히 효율성을 위해 드롭 비율 파라미터를 최적화할 경우에 유의미하게 향상된다.

ABSTRACT

We consider a simulation-based Ranking and Selection (R&S) problem with input uncertainty, where unknown input distributions can be estimated using input data arriving in batches of varying sizes over time. Each time a batch arrives, additional simulations can be run using updated input distribution estimates. The goal is to confidently identify the best design after collecting as few batches as possible. We first introduce a moving average estimator for aggregating simulation outputs generated under heterogenous input distributions. Then, based on a Sequential Elimination framework, we devise two major R&S procedures by establishing exact and asymptotic confidence bands for the estimator. In deriving the latter confidence bands, we incorporate the result of "Multiple Comparison with Best" and establish an asymptotic normality result which explicitly characterizes the tradeoff between input uncertainty and stochastic uncertainty in an online environment. We also extend our procedures to the indifference zone setting, which helps save simulation effort for practical usage. Numerical results show the effectiveness and necessity of our procedures. Moreover, the efficiency can be further boosted through optimizing the "drop rate" parameter of the estimator.

연구 동기 및 목표

• 입력 분포가 불확실하고 스트리밍 데이터로 시간이 지남에 따라 업데이트되는 조건에서 최적의 시스템 설계를 순위 매기고 선택하는 데 도전 과제를 해결한다.
• 변화하는 입력 데이터로 인해 시간 단계 간 이질적인 입력 분포가 발생할 수 있는 상황에서 시뮬레이션 출력을 집계하는 방법을 개발한다.
• 입력 불확실성과 비 i.i.d. 시뮬레이션 출력이 존재하는 상황에서도 통계적 타당성을 유지하는 고정 신뢰도 R&S 절차를 설계한다.
• 실제 응용에서 시뮬레이션 노력을 줄이기 위해 프레임워크를 인디퍼런스 존 설정으로 확장한다.
• 이동 평균 추정기의 드롭 비율 파라미터를 최적화하여 절차의 효율성을 향상시키되, 신뢰도를 훼손하지 않는다.

제안 방법

• 들어오는 데이터 배치로부터 업데이트된 입력 분포 추정치를 사용하여 각 단계에서 입력 분포 추정치를 갱신하는 이동 평균 추정기를 도입하여 시간 단계 간 시뮬레이션 출력을 집계한다.
• 정확한 및 渐近적 신뢰구간을 적용하여 입력 불확실성 하에서도 통계적 타당성을 확보하는 순차적 제거 프레임워크를 적용한다.
• 정확한 및 渐近적 신뢰구간을 각각 사용하여 고정 신뢰도 R&S에 적합한 SEIU 및 SEIU-MCB 절차를 개발한다.
• 두 절차를 모두 인디퍼런스 존(IZ) 설정으로 확장하여 성능 차이에 대한 허용 오차를 허용함으로써 시뮬레이션 부담을 줄인다.
• 이동 평균 추정기의 드롭 비율 파라미터(과거 시뮬레이션 출력의 비율)를 최적화하여 효율성을 향상시킨다.
• 수치 실험을 통해 다양한 입력 불확실성 수준과 데이터 배치 크기 하에서 제안된 절차의 통계적 성질과 효율성을 검증한다.

실험 결과

연구 질문

• RQ1 이질적인 입력 분포를 가진 서로 다른 시간 단계에서의 시뮬레이션 출력을 어떻게 일관되게 집계하여 스트리밍 데이터 환경에서 시스템 성능를 추정할 수 있는가?
• RQ2 입력 불확실성이 순위 매기기 및 선택에서 정확한 선택 확률(PCS)에 미치는 영향은 무엇이며, 이를 어떻게 통제할 수 있는가?
• RQ3 시간에 따라 변화하는 입력 분포 하에서 이동 평균 추정기의 정확한 및 渐近적 신뢰구간을 어떻게 구성할 수 있는가? 이는 고정 신뢰도 R&S를 지원하는 데 기여한다.
• RQ4 이동 평균 추정기의 드롭 비율 선택이 R&S 절차의 효율성과 통계적 타당성에 미치는 영향은 어떠한가?
• RQ5 입력 불확실성이 존재하는 상황에서 인디퍼런스 존 설정은 시뮬레이션 노력의 어느 정도를 줄일 수 있으며, 목표 PCS를 유지할 수 있는가?

주요 결과

• 기준 SEIU 절차 대비 SEIU-MCB 절차는 더 적은 단계에서 종료되며(예: 17단계 대비 364단계), 더 높은 경험적 PCS를 달성한다(예: 90% 대비 81%).
• 입력 차원이 S=2에서 S=4로 증가할 경우, SEIU-MCB(IZ)의 종료 단계는 2배 이내로 증가하여 높은 입력 불확실성에 대한 강건성을 입증한다.
• 이동 평균 추정기의 드롭 비율 파라미터를 최적화함으로써 정확한 선택 확률과 평균 종료 단계가 모두 향상되어 전체 효율성이 향상된다.
• 고차원 케이스(S=4)에서 SEIU-MCB(IZ) 절차는 평균 14단계 만에 90%의 경험적 PCS를 달성하면서도 통계적 타당성을 유지한다.
• 모든 절차는 높은 통계적 신뢰도를 유지하며, SEIU 및 SEIU(IZ)는 모든 설정에서 100%의 경험적 PCS를 달성하지만, 이는 과도한 시뮬레이션 노력이 수반된다.
• 수치 결과는 입력 불확실성을 고려하는 것이 반드시 필요하며, 제안된 신뢰구간과 절차의 통계적 정확성이 검증됨을 확인한다.