[논문 리뷰] Optimization of High-dimensional Simulation Models Using Synthetic Data

Thomas Bartz–Beielstein, Eva Bartz외 2명|arXiv (Cornell University)|2020. 09. 06.

Simulation Techniques and Applications참고 문헌 7인용 수 4

한 줄 요약

이 논문은 고도로 불확실한 환경에서 병원 자원 계획을 위한 이산 사건 시뮬레이션 모델인 BuBSim을 제시한다. 합성 데이터와 서면 모델 기반 최적화(SMBO)를 사용하여 30개 이상의 파라미터를 校정한다. 포아송 분포를 따르는 감염 사건과 감마 분포를 따르는 지속 시간을 조합하고, SPOT를 통해 최적화함으로써 예측 오차를 25% 감소시켰다 (RMSE 9.16에서 6.81로). 이는 코로나19 팬데믹 기간 동안 실제 데이터가 제한된 상황에서도 강건한 최선 및 최악의 시나리오 분석을 가능하게 한다.

ABSTRACT

Simulation models are valuable tools for resource usage estimation and capacity planning. In many situations, reliable data is not available. We introduce the BuB simulator, which requires only the specification of plausible intervals for the simulation parameters. By performing a surrogate-model based optimization, improved simulation model parameters can be determined. Furthermore, a detailed statistical analysis can be performed, which allows deep insights into the most important model parameters and their interactions. This information can be used to screen the parameters that should be further investigated. To exemplify our approach, a capacity and resource planning task for a hospital was simulated and optimized. The study explicitly covers difficulties caused by the COVID-19 pandemic. It can be shown, that even if only limited real-world data is available, the BuB simulator can be beneficially used to consider worst- and best-case scenarios. The BuB simulator can be extended in many ways, e.g., by adding further resources (personal protection equipment, staff, pharmaceuticals) or by specifying several cohorts (based on age, health status, etc.). Keywords: Synthetic data, discrete-event simulation, surrogate-model-based optimization, COVID-19, machine learning, artificial intelligence, hospital resource planning, prediction tool, capacity planning.

연구 동기 및 목표

• 코로나19 팬데믹 기간 동안 실제 데이터가 제한된 상황에서 병원 수용력 계획의 과제를 해결하기 위해.
• 역사적 데이터가 필요 없이 유의미한 파라미터 간격만으로도 효과적으로 작동하는 시뮬레이션 프레임워크를 개발하기 위해.
• 실제 데이터 없이도 예측 정확도를 향상시키기 위해 SMBO를 사용해 30개 이상의 시뮬레이션 파라미터를 최적화하기 위해.
• 보건 당국의 의사결정 지원을 위해 민감도 분석 및 시나리오 탐색(최선/최악의 경우)을 가능하게 하기 위해.
• 추가 자원과 환자 집단을 포함할 수 있는 유연하고 확장 가능한 시뮬레이터를 구축하기 위해.

제안 방법

• BuBSim 모델은 환자 흐름을 병원 상태(예: 감염, 입원, 중환자실, 회복) 간 전이로 모델링하는 이산 사건 시뮬레이션(DES)을 사용하며, 상태 전이 시간과 확률에 의해 제어된다.
• 감염 발생 시간은 91일 동안 일일 평균 4명의 새로운 감염자가 발생하는 포아송 과정으로 모델링된다.
• 각 상태의 지속 시간은 감마 분포로 모델링되며, 형상 및 척도 파라미터는 최적화 변수로 간주된다.
• SPOT 도구를 통한 서면 모델 기반 최적화(SMBO)를 사용하여 시뮬레이션 결과와 목표 결과 간의 제곱근 평균 제곱오차(RMSE)를 최소화함으로써 30개 이상의 모델 파라미터를 校정한다.
• 선형 회귀 및 회귀 트리 분석을 통해 모델 오차에 영향을 주는 주요 파라미터를 식별하기 위해 민감도 분석을 수행한다.
• 등고선 플롯을 통해 핵심 파라미터 간의 상호작용(예: 감마 분포의 형상 파라미터와 입원까지의 시간)을 시각화하여 파라미터 공간 탐색을 지원한다.

실험 결과

연구 질문

• RQ1 실제 데이터가 없고, 파라미터에 대한 유의미한 간격만 제공되는 상황에서 고차원 시뮬레이션 모델을 효과적으로 최적화할 수 있는가?
• RQ2 실제 데이터가 부족한 상황에서 서면 모델 기반 최적화(SMBO)가 병원 자원 예측 정확도를 어떻게 향상시키는가?
• RQ3 ICU 및 병원 침대 수요 예측 오차를 결정하는 데 가장 영향을 미치는 모델 파라미터는 무엇인가?
• RQ4 합성 데이터와 시뮬레이션을 통해 팬데믹 계획을 위한 강건한 최선 및 최악의 시나리오 분석을 어느 정도 실현할 수 있는가?
• RQ5 민감도 분석 및 시각화 도구는 복잡한 시뮬레이션 모델의 해석을 어떻게 지원하고 파라미터 조정을 어떻게 안내하는가?

주요 결과

• SMBO로 최적화된 BuBSim 모델은 침대 수요 예측의 제곱근 평균 제곱오차(RMSE)를 25.6% 감소시켰다 (9.16에서 6.81로), 정확도 향상이 뚜렷했다.
• 회귀 분석을 통해 입원까지의 평균 일수(x₁)를 줄이고 회복 지속 시간(x₂)을 늘리면 모델 오차가 감소할 것임을 확인했다.
• 감마 분포의 형상 파라미터(x₁₆)는 중요한 요소로 밝혀졌으며, 높은 값일수록 모델 적합도가 향상되었다.
• 입원 시점에 중환자실 호흡기 지원이 필요한 환자의 비율(x₁₉)이 핵심 파라미터로 확인되었으며, 이 값이 높을수록 오차가 감소했다.
• 회귀 트리 분석은 동일한 네 가지 파라미터(x₁, x₂, x₁₆, x₁₉)가 가장 중요하다고 확인하여 민감도 분석의 강건성을 뒷받침했다.
• 등고선 플롯은 형상 파라미터(x₁₆)와 입원까지의 시간(x₁) 간의 트레이드오프를 시각화하였으며, x₁₆가 높고 x₁이 낮을 때 최적의 성능를 달성함을 보여주었다.