[論文レビュー] Optimization of High-dimensional Simulation Models Using Synthetic Data

Thomas Bartz–Beielstein, Eva Bartz+2 more|arXiv (Cornell University)|Sep 6, 2020

Simulation Techniques and Applications参考文献 7被引用数 4

ひとこと要約

本論文では、COVID-19パンデミック期における限られた実世界データの下で、合成データとサーロウモデルベース最適化（SMBO）を用いて30以上のパラメータをキャリブレーションする、高次元の不確実性下での病院リソース計画を目的とした離散イベントシミュレーションモデルであるBuBSimを提示する。ポisson分布を用いた感染症イベントとガンマ分布を用いた持続時間の組み合わせに加え、SPOTを用いた最適化により、予測誤差が25%低減（RMSE 9.16から6.81に）され、限られた実データでも、強固なベストケース・ワーストケースのシナリオ分析が可能となった。

ABSTRACT

Simulation models are valuable tools for resource usage estimation and capacity planning. In many situations, reliable data is not available. We introduce the BuB simulator, which requires only the specification of plausible intervals for the simulation parameters. By performing a surrogate-model based optimization, improved simulation model parameters can be determined. Furthermore, a detailed statistical analysis can be performed, which allows deep insights into the most important model parameters and their interactions. This information can be used to screen the parameters that should be further investigated. To exemplify our approach, a capacity and resource planning task for a hospital was simulated and optimized. The study explicitly covers difficulties caused by the COVID-19 pandemic. It can be shown, that even if only limited real-world data is available, the BuB simulator can be beneficially used to consider worst- and best-case scenarios. The BuB simulator can be extended in many ways, e.g., by adding further resources (personal protection equipment, staff, pharmaceuticals) or by specifying several cohorts (based on age, health status, etc.). Keywords: Synthetic data, discrete-event simulation, surrogate-model-based optimization, COVID-19, machine learning, artificial intelligence, hospital resource planning, prediction tool, capacity planning.

研究の動機と目的

• COVID-19パンデミック期における病院能力計画において、実世界データが限られる課題に対処すること。
• 歴史的データを必要とせず、妥当なパラメータの区間のみで動作するシミュレーションフレームワークを開発すること。
• サーロウモデルベース最適化（SMBO）を用いて30以上のシミュレーションパラメータを最適化し、予測精度を向上させること。
• 保健当局の意思決定支援のため、感度分析およびシナリオ探索（ベストケース／ワーストケース）を可能にすること。
• 追加のリソースや患者集団を容易に統合できる柔軟で拡張可能なシミュレータを構築すること。

提案手法

• BuBSimモデルは、離散イベントシミュレーション（DES）を用い、患者の病院ステータス（例：感染、入院、ICU、回復）の流れをモデル化する。ステータス遷移は、時間的持続時間と確率によって制御される。
• 感染症の到着時刻は、91日間の期間で1日あたり平均4件の新規感染を想定したポアソン過程でモデル化される。
• 各ステータスの持続時間はガンマ分布でモデル化され、形状母数と尺度母数が最適化変数として扱われる。
• サーロウモデルベース最適化（SMBO）をSPOTツールボックスを用いて実行し、シミュレート結果とターゲット結果の間の平均二乗誤差（RMSE）を最小化することで、30以上のモデルパラメータをキャリブレーションする。
• 感度分析は線形回帰と回帰木を用いて実施され、モデル誤差に影響を与える主要なパラメータを同定する。
• 等高線図は、重要なパラメータ間の相互作用（例：ガンマ分布の形状母数と入院までの時間）を可視化し、パラメータ空間の探索を支援する。

実験結果

リサーチクエスチョン

• RQ1 実世界データが存在せず、パラメータの妥当な区間しか入手できない状況下で、高次元のシミュレーションモデルを効果的に最適化できるか？
• RQ2 実証的データが欠如する状況下で、サーロウモデルベース最適化（SMBO）が病院リソース予測の精度をどのように向上させるか？
• RQ3 ICUおよび病床需要の予測誤差を決定づける主なモデルパラメータは何か？
• RQ4 合成データとシミュレーションを用いることで、パンデミック計画における強固なベストケース・ワーストケースのシナリオ分析をどの程度実現できるか？
• RQ5 感度分析と可視化ツールは、複雑なシミュレーションモデルの解釈をどのように支援し、パラメータチューニングを導くか？

主な発見

• SMBOで最適化されたBuBSimモデルは、ベッド需要予測の平均二乗誤差（RMSE）を25.6%低減（9.16から6.81に）し、著しく精度が向上した。
• 回帰分析により、入院までの平均日数（x₁）を短くし、回復期間（x₂）を延ばすことで、モデル誤差が低減することが示された。
• ガンマ分布の形状母数（x₁₆）が重要な要因であることが判明し、高い値がモデル適合を改善した。
• 入院時に入院患者のうちICUでの呼吸管理を要する割合（x₁₉）が重要なパラメータであり、高い値が誤差低減に寄与した。
• 回帰木分析により、同じ4つのパラメータ（x₁, x₂, x₁₆, x₁₉）が最も重要であると確認され、感度分析の妥当性が裏付けられた。
• 等高線図は、形状母数（x₁₆）と入院までの時間（x₁）のトレードオフを可視化し、x₁₆が高くx₁が低い場合に最適なパフォーマンスが得られることを示した。