[論文レビュー] An Optimal Policy for Patient Laboratory Tests in Intensive Care Units

Lifang Cheng, Niranjani Prasad+1 more|arXiv (Cornell University)|Aug 14, 2018

Hemodynamic Monitoring and Therapy参考文献 7被引用数 4

ひとこと要約

本論文は、臨床的有用性、費用、リスクのバランスをとることで、ICU患者に対する最適な検査順序ポリシーを学習するバッチ・オフポリシー強化学習フレームワークを提案する。複合報酬関数を用いた多目的Q反復により、検査頻度を44％（例：WBC）削減し、平均して4時間以上検査タイミングを前倒しにし、情報量の増加を実現するとともに、早期治療開始を可能にする。

ABSTRACT

Laboratory testing is an integral tool in the management of patient care in hospitals, particularly in intensive care units (ICUs). There exists an inherent trade-off in the selection and timing of lab tests between considerations of the expected utility in clinical decision-making of a given test at a specific time, and the associated cost or risk it poses to the patient. In this work, we introduce a framework that learns policies for ordering lab tests which optimizes for this trade-off. Our approach uses batch off-policy reinforcement learning with a composite reward function based on clinical imperatives, applied to data that include examples of clinicians ordering labs for patients. To this end, we develop and extend principles of Pareto optimality to improve the selection of actions based on multiple reward function components while respecting typical procedural considerations and prioritization of clinical goals in the ICU. Our experiments show that we can estimate a policy that reduces the frequency of lab tests and optimizes timing to minimize information redundancy. We also find that the estimated policies typically suggest ordering lab tests well ahead of critical onsets--such as mechanical ventilation or dialysis--that depend on the lab results. We evaluate our approach by quantifying how these policies may initiate earlier onset of treatment.

研究の動機と目的

• ICUにおける冗長的で高コストな検査順序の臨床的問題に対処すること。これは、患者への被害と医療コストの増加に寄与する。
• 情報量、費用、臨床的リスクのバランスを取ることで、検査タイミングと選択を最適化するデータ駆動型かつ解釈可能なポリシーを開発すること。
• 現実の臨床医の順序パターンから学ぶことで、情報の重複を最小限に抑えつつ、臨床意思決定を改善すること。
• 学習されたポリシーが臨床医よりも検査を早期に提案できるかどうかを評価することにより、早期治療開始を可能にする。
• オフポリシーRLを用いて、実装可能で低リスクの意思決定支援システムを提供し、臨床医が関与するICUケアを支援すること。

提案手法

• フレームワークは、患者の遷移をマルコフ決定過程（MDP）としてモデル化し、多出力ガウス過程（MOGP）を用いて疎で不規則にサンプリングされた時系列から状態表現を抽出する。
• 複合報酬関数は、予想される情報量の増加、検査にかかる費用、および後続治療タイミングへの影響といった複数の臨床的目標を統合する。
• 歴史的な臨床医による順序データから学習するため、バッチ・オフポリシー強化学習を多目的フィットドQ反復（MO-FQI）により実装する。
• スカラライゼーションを必要とせずに、複数の報酬成分における競合する目的をバランスさせるために、Pareto最適性の原則を拡張して適用する。
• オフポリシー評価には、展開なしにテストデータ上のポリシー性能を評価する重み付き重要度サンプリング（WIS）推定器を用いる。
• モデルは将来の患者状態を推定し、不確実性を伴ったまま検査値を予測可能にすることで、能動的な検査提案を可能にする。

実験結果

リサーチクエスチョン

• RQ1 強化学習フレームワークは、冗長な検査を削減しつつ、臨床的有用性を維持または向上させる検査順序ポリシーを学習できるか？
• RQ2 学習されたポリシーは、臨床医よりもどの程度早く検査を提案できるか。これにより、治療開始が早期に可能になるか？
• RQ3 ポリシーが提案する検査の情報量は、臨床医が順序した検査と比べてどの程度高いか？
• RQ4 複合報酬関数を通じて、費用、リスク、診断的有用性といった競合する臨床的目標をバランスできるか？
• RQ5 特に頻度の高い検査（例：WBC や ラクタート）に関して、現在の臨床的実践と比較して、合計の検査数が減少するか？

主な発見

• MO-FQIポリシーは、臨床医による順序実践と比較して、合計の検査提案数を44％削減した。WBCについては12,358件の提案に対し、実際の注文は22,172件であった。
• ラクタートは頻度が低いが、依然として27％の検査頻度の削減を達成した。
• WBCに関しては、検査提案と重症治療開始との平均時間隔が9.1時間から13.2時間に増加し、早期発見・早期介入の可能性が示された。
• WBCではポリシーが提案する検査の平均情報量が1.53であり、臨床医が注文した検査の0.69を上回った。BUNでは3.39対1.63であった。
• 4つの検査すべてにおいて、注文数の削減、情報量の増加、治療開始の早期化という3つの評価指標で、ポリシーは臨床医を常に上回った。
• 平均して、臨床医よりも検査を最大4.5時間早く提案した。特にWBC、クレアチニン、BUNに関して顕著で、臨床的悪化の予測能力の向上が示唆された。