[論文レビュー] RL4health: Crowdsourcing Reinforcement Learning for Knee Replacement Pathway Optimization

Hao Lü, Mengdi Wang|arXiv (Cornell University)|May 24, 2019

Healthcare Operations and Scheduling Optimization参考文献 32被引用数 6

ひとこと要約

本論文は、エピソード的クレームデータからのエキスパート意思決定をクラウドソーシングすることで、膝置換術の臨床パスを最適化する強化学習パイプライン、RL4healthを提案する。価値反復、状態圧縮、カーネル表現、交差検証を用いて、平均エピソードコストを7%削減し、過剰コストプレミアムを33%削減する最適な治療方針を学習する。同時に、最適化された方針下でのリアルタイムのパス予測が可能となる。

ABSTRACT

Joint replacement is the most common inpatient surgical treatment in the US. We investigate the clinical pathway optimization for knee replacement, which is a sequential decision process from onset to recovery. Based on episodic claims from previous cases, we view the pathway optimization as an intelligence crowdsourcing problem and learn the optimal decision policy from data by imitating the best expert at every intermediate state. We develop a reinforcement learning-based pipeline that uses value iteration, state compression and aggregation learning, kernel representation and cross validation to predict the best treatment policy. It also provides forecast of the clinical pathway under the optimized policy. Empirical validation shows that the optimized policy reduces the overall cost by 7 percent and reduces the excessive cost premium by 33 percent.

研究の動機と目的

• 膝置換術における複雑な臨床意思決定プロセスに対する原則的でAI駆動の最適化の欠如に応えること。
• CMSのCJRモデルが25,565ドルを超えるエピソードに対してペナルティを科すことを踏まえ、総合的治療コストと過剰コストプレミアムの低減。
• 膝置換術の異なる段階において複数の医師が持つエキスパート知識を知的クラウドソーシングにより統合すること。
• 将来の臨床パスを最適意思決定下で予測可能な汎用的で頑健な方針の開発。
• 合併症に起因する末尾コストの最小化により、コスト効率とケア品質の両方の向上。

提案手法

• 膝置換術プロセスを段階的かつ状態依存的な意思決定を持つマルコフ意思決定過程（MDP）としてモデル化する。
• 歴史的エピソード的クレームデータから最適方針を価値反復を用いて学習する。
• スペクトルに基づく次元削減を用いて、状態履歴を圧縮・集約し、解の品質を保持する。
• 高次元臨床データにおける複雑で非線形な状態-行動関係をモデル化するためにカーネル表現を採用する。
• 交差検証を用いて最適なモデル複雑度（k=3）を特定し、一般化を確保し、過学習を回避する。
• 最適化された方針下で10,000件のサンプル軌道をシミュレートし、診断分布の時間的予測を生成することで、パス予測を実施する。

実験結果

リサーチクエスチョン

• RQ1 強化学習は、多様でエピソード的クレームデータからのエキスパート臨床意思決定を的確に統合し、複雑な外科的パスを最適化できるか？
• RQ2 学習された方針は、ベースライン臨床実践と比較して、平均コストおよび過剰コストをどの程度削減できるか？
• RQ3 モデルはサンプル外データにどの程度一般化できるか。また、モデル複雑度と性能の最適なバランスは何か？
• RQ4 現在の診断および治療段階を前提とした場合、モデルは将来の臨床状態を正確に時間依存で予測できるか？
• RQ5 末尾コストの低減は、費用削減を超えて臨床的アウトカムの向上と相関しているか？

主な発見

• 最適化された方針により、平均エピソードコストが7%削減され、1エピソードあたり1,000ドルの節約が達成された。
• 25,565ドルを超えるコストと定義される過剰コストプレミアムは、最適化された方針下で33%削減された。
• 交差検証により、k=3が最適なモデル複雑度として特定され、過学習を最小限に抑え、サンプル外での性能が頑健であることが確認された。
• 最適化後のコスト分布では、30,000ドルを超えるエピソードの数が顕著に減少し、CJRモデル下での財務的リスクが軽減された。
• モデルは高い忠実度で将来の臨床パスを予測でき、時間経過に伴う診断カテゴリーの条件付き確率分布を示した。
• 末尾コストの低減は、合併症や再入院と関連する高コストエピソードの減少を示唆しており、臨床的アウトカムの改善の可能性を示唆している。