[論文レビュー] HOLMES: Health OnLine Model Ensemble Serving for Deep Learning Models in Intensive Care Units

Shenda Hong, Yanbo Xu+6 more|arXiv (Cornell University)|Aug 10, 2020

Machine Learning in Healthcare参考文献 37被引用数 4

ひとこと要約

HOLMES は、集中治療部（ICUs）におけるディープラーニングのための遅延に配慮したオンラインモデルアンサンブルサービングシステムであり、ミリ秒未満の推論遅延と高い精度の両立を図るために、動的に最適なモデルアンサンブルを構成する。バッチ処理に比べて遅延を1桁低減し、100名の患者、250 Hz の波形ストリーミングを対象とした小児心臓集中治療部データで95％以上の予測精度を達成した。

ABSTRACT

Deep learning models have achieved expert-level performance in healthcare with an exclusive focus on training accurate models. However, in many clinical environments such as intensive care unit (ICU), real-time model serving is equally if not more important than accuracy, because in ICU patient care is simultaneously more urgent and more expensive. Clinical decisions and their timeliness, therefore, directly affect both the patient outcome and the cost of care. To make timely decisions, we argue the underlying serving system must be latency-aware. To compound the challenge, health analytic applications often require a combination of models instead of a single model, to better specialize individual models for different targets, multi-modal data, different prediction windows, and potentially personalized predictions. To address these challenges, we propose HOLMES-an online model ensemble serving framework for healthcare applications. HOLMES dynamically identifies the best performing set of models to ensemble for highest accuracy, while also satisfying sub-second latency constraints on end-to-end prediction. We demonstrate that HOLMES is able to navigate the accuracy/latency tradeoff efficiently, compose the ensemble, and serve the model ensemble pipeline, scaling to simultaneously streaming data from 100 patients, each producing waveform data at 250~Hz. HOLMES outperforms the conventional offline batch-processed inference for the same clinical task in terms of accuracy and latency (by order of magnitude). HOLMES is tested on risk prediction task on pediatric cardio ICU data with above 95% prediction accuracy and sub-second latency on 64-bed simulation.

研究の動機と目的

• 集中治療部（ICUs）における低遅延・高精度なモデルサービングの重要なニーズに対応し、タイムリネスと正確性が患者の予後や医療コストに直接影響することを目的とする。
• 従来のバッチ処理推論の限界（データの陳腐化と高遅延）を克服し、ストリーミング形式のマルチモodal ICU データに対して継続的・オンライン推論を可能にする。
• 異なるデータモodal、予測ウィンドウ、または患者コhortで訓練された複数の専門的モデルから、厳密なミリ秒未満の遅延サービスレベル目標（SLO）を満たしながら、最適なモデルアンサンブルを動的に構成する。
• 固定されたオンプレミス病院計算制約内に収まり、スケーラブルでリソース効率の良いサービングプラットフォームを提供し、精度-遅延トレードオフを効果的に管理する。
• リアルICU環境において、オンラインモデルアンサンブルサービングが従来のオフラインバッチ処理に比べて予測精度と推論速度の両方を著しく向上させることを実証する。

提案手法

• HOLMES は、フルプロファイリングを必要としないように、候補となるモデルアンサンブルの性能を事前に予測するサーモグラフベース最適化フレームワークを採用し、高コストで時間がかかる評価の必要性を低減する。
• リアルタイム処理のため、状態保持型コンponent（例：データ集約、バッファリング）と状態非保持型コンponent（例：モデル推論）のハイブリッドパイプラインをオーケストレートするために、オープンソースの Ray フレームワークを活用する。
• 遅延に配慮したアンサンブルコンposerを採用し、予測精度と測定された遅延に基づいて最良のモデルコンビネーションを選択することで、ミリ秒未満のSLOを満たす。
• HOLMES は、複数レート・複数モダリティのデータインジェスト（例：250 Hz のECG）をサポートし、最大100名の患者のストリーミング形式で同時に処理できる。
• 状態保持型のデータ集約とモデル推論を統合し、最新の患者データをタイムリーに使用することで、データの陳腐化を低減する。
• システムは、GPU の数や患者負荷の変動に応じたリソース制約下でもスケーリング可能であり、異なるGPU数と患者負荷の下で性能が評価されている。

実験結果

リサーチクエスチョン

• RQ1 オンラインモデルアンサンブルサービングシステムは、リアルタイムICUモニタリングにおいて、ミリ秒未満のエンドツーエンド遅延を達成しながらも、高い予測精度を維持できるか？
• RQ2 動的モデルアンサンブル構成は、心臓集中治療部の環境において、単一モデルやバッチ推論アプローチに比べて、予測精度をどのように向上させるか？
• RQ3 サーモグラフモデリングは、モデルアンサンブル選択における精度-遅延トレードオフの探索コストをどの程度低減できるか？
• RQ4 多様なデータモダリティと周波数を持つ高スルーレート・マルチ患者ストリーミングワークロードにおいて、HOLMES はどの程度スケーリング可能か？
• RQ5 ICUリスク予測タスクにおいて、オンライン推論と従来のオフラインバッチ処理の間には、遅延と予測精度の点でどの程度の性能ギャップがあるか？

主な発見

• HOLMES は、従来のオフラインバッチ処理に比べてエンドツーエンド推論遅延を1桁低減し、高負荷下でもミリ秒未満の遅延を達成した。
• 10モデルアンサンブルにおいて、95番目のパーセンタイル遅延が1.15秒未満であり、小児心臓集中治療部リスク予測タスクで95％以上の予測精度を維持した。
• 64床のシミュレーションにおいて、2 GPU で16,000クエリ／秒（16名 × 250 qps）を処理し、高インジェストレート下でも効果的にスケーリングできることを示した。
• サーモグラフモデルを活用することで、HOLMES は精度-遅延トレードオフの探索空間を効率的に探索し、フルプロファイル評価を減らして高パフォーマンスなアンサンブルを同定した。
• GPU の数が増えるほど遅延が低下し、リソーススケーリングが性能向上に寄与することを示した。キューイング遅延が低減し、競合も減少した。
• オンラインサービングアプローチにより、データの陳腐化が低減したため、予測遅延と性能の逆相関関係が明確に示された。