[論文レビュー] Learning Cost-Effective Treatment Regimes using Markov Decision Processes

Himabindu Lakkaraju, Cynthia Rudin|arXiv (Cornell University)|Oct 21, 2016

Advanced Causal Inference Techniques参考文献 25被引用数 10

ひとこと要約

本稿では、意思決定プロセスをマルコフ決定過程（MDP）としてモデル化し、結果の最大化、評価コストの低減、治療コストの最小化をバランスさせる多目的関数を最適化するために、カスタム化されたUCTアルゴリズムを用いる、費用対効果が高く解釈可能な治療方針を学習するための新規フレームワークCITRを提案する。この手法は、医療および司法の両分野で、より低いコストとより優れた結果を達成する意思決定リストを生成する。

ABSTRACT

Decision makers, such as doctors and judges, make crucial decisions such as recommending treatments to patients, and granting bails to defendants on a daily basis. Such decisions typically involve weighting the potential benefits of taking an action against the costs involved. In this work, we aim to automate this task of learning \emph{cost-effective, interpretable and actionable treatment regimes}. We formulate this as a problem of learning a decision list -- a sequence of if-then-else rules -- which maps characteristics of subjects (eg., diagnostic test results of patients) to treatments. We propose a novel objective to construct a decision list which maximizes outcomes for the population, and minimizes overall costs. We model the problem of learning such a list as a Markov Decision Process (MDP) and employ a variant of the Upper Confidence Bound for Trees (UCT) strategy which leverages customized checks for pruning the search space effectively. Experimental results on real world observational data capturing judicial bail decisions and treatment recommendations for asthma patients demonstrate the effectiveness of our approach.

研究の動機と目的

• 意思決定における治療結果、評価コスト、治療コストの3つを同時に最適化できない既存手法のギャップを埋める。
• 医師や裁判官などの人間の実務者が採用可能な、解釈可能で実行可能な治療方針（意思決定リストとして表現）を開発する。
• 治療方針学習問題を、結果、評価コスト、治療コストを組み込んだ新しい目的関数を持つマルコフ決定過程（MDP）としてモデル化する。
• 大規模な意思決定リストの探索空間を効率的に探索するため、UCTベースのMDPソルバー内にカスタム化された刈り込み戦略を設計する。
• 喘息治療および司法の保釈意思決定からの実世界の観察データを用いて、フレームワークの実証的妥当性を検証する。

提案手法

• フレームワークは、治療方針学習をマルコフ決定過程（MDP）として定式化し、状態は部分的決定ルールを表し、行動は条件の追加または治療の割り当てを表す。
• 期待される結果、評価コスト、治療コストの3つを同時に最適化する新しい目的関数を提案し、これらの要素間のトレードオフを調整する。
• 上位信頼区間木（UCT）アルゴリズムの変種を用いてMDPを解き、探索空間を縮小するためのドメイン固有の刈り込みチェックを追加する。
• 便宜的に、安価な代替手段で十分な場合には高価な検査を回避するなど、非効率な意思決定経路を早期に排除するためのカスタム化された刈り込みルールを適用する。
• 患者または被告の特徴から最適な治療にマッピングするif-then-elseルールの系列である意思決定リストを出力する。
• 本手法は、喘息ケアおよび司法の保釈意思決定からの実世界の観察データセットを用いて訓練および評価される。

実験結果

リサーチクエスチョン

• RQ1 統合的フレームワークは、臨床および司法意思決定における治療結果、評価コスト、治療コストの3つを同時に最適化できるか？
• RQ2 評価コストおよび治療コストを組み込むことで、学習された治療方針の複雑さと解釈可能性にどのような影響が生じるか？
• RQ3 提案されたMDPベースの手法は、結果およびコスト効率の観点で、既存のベースラインをどの程度上回るか？
• RQ4 目的関数の個々の要素（結果、評価コスト、治療コスト）は、最終的な治療方針のパフォーマンスにどの程度寄与しているか？
• RQ5 得られた意思決定リストは、実世界の状況における人間の意思決定者（医師や裁判官）にとって、解釈可能かつ実行可能であると見なせるか？

主な発見

• 喘息データセットでは、CITRフレームワークは最良のベースライン（IPTL）よりも12.5%高い結果を達成した一方で、平均治療コストを28%削減した。
• 保釈データセットでは、CITRは次に優れたベースラインと比較して平均評価コストを35%削減し、結果面でも10.2%の改善を示した。
• アブレーションスタディの結果、評価コスト項を削除すると、保釈データセットで平均評価コストが31%上昇し、喘息データセットでは24%上昇した。これにより、評価コスト項の重要性が確認された。
• CITRが学習した治療方針は、平均1人あたり2.1回の診断チェックで済ませたのに対し、次に優れたベースラインは3.4回であった。これは、より高い効率性を示している。
• フレームワークは、91.77%の患者に対して高価なメチアコリンテストを回避するように、より安価で情報価値の高い特徴を意思決定リストの初期段階で優先した。
• 最終的な意思決定リストは、60%のルールが3つ以下の条件を含むなど、著しく解釈可能であり、臨床および法的ガイドラインと整合していた。