[論文レビュー] Latent-state models for precision medicine

Zekun Xu, Eric B. Laber+2 more|arXiv (Cornell University)|May 26, 2020

Machine Learning in Healthcare参考文献 88被引用数 4

ひとこと要約

本稿では、不規則で縦断的観察データ（特に双極性障害のような慢性精神疾患に特徴的）において、最適な動的治療戦略を推定するために、潜在的健康状態を組み込んだ部分的に観測可能なマルコフ意思決定過程（POMDP）モデルを提案する。観測不能な患者状態が治療反応に与える影響をモデル化することで、時間的整合性やマルコフ性の仮定が成り立たない場合に、従来の手法が失敗する状況でも、臨床的に意味のある個別化された治療戦略の推定が可能になる。

ABSTRACT

Observational longitudinal studies are a common means to study treatment efficacy and safety in chronic mental illness. In many such studies, treatment changes may be initiated by either the patient or by their clinician and can thus vary widely across patients in their timing, number, and type. Indeed, in the observational longitudinal pathway of the STEP-BD study of bipolar depression, one of the motivations for this work, no two patients have the same treatment history even after coarsening clinic visits to a weekly time-scale. Estimation of an optimal treatment regime using such data is challenging as one cannot naively pool together patients with the same treatment history, as is required by methods based on inverse probability weighting, nor is it possible to apply backwards induction over the decision points, as is done in Q-learning and its variants. Thus, additional structure is needed to effectively pool information across patients and within a patient over time. Current scientific theory for many chronic mental illnesses maintains that a patient's disease status can be conceptualized as transitioning among a small number of discrete states. We use this theory to inform the construction of a partially observable Markov decision process model of patient health trajectories wherein observed health outcomes are dictated by a patient's latent health state. Using this model, we derive and evaluate estimators of an optimal treatment regime under two common paradigms for quantifying long-term patient health. The finite sample performance of the proposed estimator is demonstrated through a series of simulation experiments and application to the observational pathway of the STEP-BD study. We find that the proposed method provides high-quality estimates of an optimal treatment strategy in settings where existing approaches cannot be applied without ad hoc modifications.

研究の動機と目的

• 不規則でマルコフでない治療履歴、および頻回かつ変動する治療変更を伴う縦断的観察研究において、最適な治療戦略を推定する課題に対処すること。
• 双極性障害における未観測の気分状態など、患者固有の潜在的健康状態を治療戦略推定に組み込むことで、臨床的妥当性と統計的効率性を向上させること。
• 標準的な逆確率重量付き推定やQ学習手法が、時間的整合性の欠如により適用不可能な無限時間枠の設定においても、最適な治療戦略の推定を可能にする手法を開発すること。
• 潜在状態ダイナミクスを有するPOMDPモデルを用いて、慢性精神疾患における精度医療の理論的裏付けが強く、臨床的に解釈可能なフレームワークを提供すること。
• シミュレーションおよびSTEP-BD観察経路への応用を通じて、本手法の性能を示し、標準的手法に比べて複雑なデータ設定下でもより優れた推定を達成すること。

提案手法

• 観測された結果が未観測の潜在的健康状態に依存する部分的に観測可能なマルコフ意思決定過程（POMDP）を用いて、患者の健康経路をモデル化する。
• 現在の潜在状態および観測された共変量を条件として、患者の健康の進展がマルコフ的であると仮定し、不確実性下での逐次的意思決定が可能になる。
• 情報状態を潜在状態と現在の患者測定値の同時分布として定義し、これが最適な治療戦略を完全に決定づける。
• 尤度に基づく推定法を用いて最適な治療戦略の推定量を導出し、正則性条件の下でその漸近的性質を確立する。
• STEP-BD研究のデータを用いて、平均的利得と割引利得（γ = 0.95）の2つの利得基準に基づき、治療戦略を推定する。
• 意思決定木の可視化を用いて、推定された最適治療ルールを解釈し、抑うつ状態、躁状態、その他の気分状態の推定確率に基づく分割を行う。

実験結果

リサーチクエスチョン

• RQ1 潜在状態を有するPOMDPモデルは、不規則でマルコフでない治療履歴を伴う観察データにおいて、最適な治療戦略を効果的に推定できるか？
• RQ2 未観測の患者健康状態を組み込むことで、推定された動的治療戦略の質と臨床的解釈可能性はどのように向上するか？
• RQ3 標準的手法が適用不能な状況下で、本手法の推定量の有限標本性能は、既存手法と比較してどの程度優れているか？
• RQ4 推定された最適戦略は、長期的な患者の健康状態の結果において、観察された臨床実践を上回るか？
• RQ5 平均利得と割引利得という異なる利得基準は、推定された最適治療戦略の構造にどのような影響を与えるか？

主な発見

• 提案されたPOMDPベースの手法は、標準的手法が適切に適用できないSTEP-BD観察経路においても、最適な治療戦略を効果的に推定できた。
• 推定された最適戦略は、単独でまたは抗うつ薬と併用して気分安定薬を投与することを推奨しており、抗うつ薬単剤投与を避けるという点で、躁転のリスクを考慮した臨床ガイドラインと整合的である。
• 平均利得の基準では、推定戦略の価値（1.81、95％信頼区間：1.72–1.88）は、観察された戦略（1.66）を有意に上回っており、信頼区間の下限も観察値を上回っている。
• 割引利得（γ = 0.95）の基準では、推定戦略の価値は33.76（95％信頼区間：19.24–46.95）に達し、観察値の14.40を著しく上回っている。
• モデルは臨床的に意味のある状態確率を推定している。例えば、「抑うつ状態」では抑うつ状態の確率が85％に達し、「躁状態」では躁状態の確率が55％に達している。
• 平均利得と割引利得の両基準において、推定された最適治療戦略の構造は定性的に類似しており、抑うつ状態が起こりやすい、または躁状態が起こりにくい状況でのみ抗うつ薬が推奨される。