[論文レビュー] An optimal learning method for developing personalized treatment regimes

Yingfei Wang, Warren B. Powell|arXiv (Cornell University)|Jul 6, 2016

Advanced Bandit Algorithms Research参考文献 36被引用数 5

ひとこと要約

本稿では、コンテキストバンディットを用いて医療分野におけるパーソナライズド治療方針を最適化するためのベイジアン知識勾配方策を提案する。ロジスティック回帰と近似手法を活用し、探索と活用のバランスを図る。実際の膝置換術データセットにおいて、患者固有のデータに基づいて医師を知的に選択し、各結果から学習することで、ランダム割り当てよりも約25%成功確率が向上した。

ABSTRACT

A treatment regime is a function that maps individual patient information to a recommended treatment, hence explicitly incorporating the heterogeneity in need for treatment across individuals. Patient responses are dichotomous and can be predicted through an unknown relationship that depends on the patient information and the selected treatment. The goal is to find the treatments that lead to the best patient responses on average. Each experiment is expensive, forcing us to learn the most from each experiment. We adopt a Bayesian approach both to incorporate possible prior information and to update our treatment regime continuously as information accrues, with the potential to allow smaller yet more informative trials and for patients to receive better treatment. By formulating the problem as contextual bandits, we introduce a knowledge gradient policy to guide the treatment assignment by maximizing the expected value of information, for which an approximation method is used to overcome computational challenges. We provide a detailed study on how to make sequential medical decisions under uncertainty to reduce health care costs on a real world knee replacement dataset. We use clustering and LASSO to deal with the intrinsic sparsity in health datasets. We show experimentally that even though the problem is sparse, through careful selection of physicians (versus picking them at random), we can significantly improve the success rates.

研究の動機と目的

• リアルタイムの患者アウトカムを用いて治療方針を継続的に更新するオンライン学習手法を開発し、医療コストを低減すること。
• スパースで高次元の健康データの課題に対処するため、クラスタリングとLASSOを統合して特徴選択と次元削減を実現すること。
• 長期的なパーソナライズド医療における成功を最大化するように、探索（新しい治療効果の学習）と活用（現在の最良治療の選択）のバランスを取ること。
• ベイジアン推論を用いて各患者の相互作用から効率的に学習することで、より小さく情報量の多い臨床試験を可能にすること。
• 個々の患者プロファイルと歴史的パフォーマンスに基づき、最も適切な医師と治療を割り当てることで、患者のアウトカムを改善すること。

提案手法

• パーソナライズド治療問題を、二値のアウトカム（成功／失敗）と患者固有の特徴を持つコンテキストバンディットとして定式化する。
• ベイジアンロジスティック回帰を用いて、患者属性と治療選択（例：医師）の関数として治療成功の確率をモデル化する。
• 知識勾配方策を適用し、情報の期待価値を最大化する治療を選択することで、学習を促進しつつ高いパフォーマンスを維持する。
• 高次元設定における計算の非効率性を克服するため、知識勾配の近似手法を採用する。
• スパースな健康データセットを扱うために、類似した患者をグループ化し、関連する特徴を選択するため、クラスタリングとLASSOを統合する。
• 実験的評価において、事後分布サンプリング（トンプソンサンプリング）と純粋な活用をベースラインとして比較する。

実験結果

リサーチクエスチョン

• RQ1 各実験（患者治療）が高価でデータがスパースな状況下で、リアルタイムにパーソナライズド治療方針を最適化する方法は何か？
• RQ2 ベイジアン知識勾配方策は、純粋な活用や探索に比べて、治療失敗率をどの程度低減できるか？
• RQ3 クラスタリングとLASSOは、スパースで現実世界の健康データセットにおいて、次元削減を効果的に行い、パフォーマンスを向上させることができるか？
• RQ4 医療意思決定の文脈において、知識勾配方策はトンプソンサンプリングに比べて、探索と活用のバランスをどの程度正確に実現できるか？
• RQ5 パrameter η のチューニングが、学習速度と治療割り当てのパフォーマンス分散のトレードオフに与える影響は何か？

主な発見

• η = 0.5 の知識勾配方策が、膝置換術データセットにおいて最高の累積的成功率を達成し、純粋な活用、ランダム割り当て、トンプソンサンプリングを上回った。
• 全く同じ患者が存在しない極めてスパースなデータでさえも、本手法はランダムな医師割り当てに比べて成功率を約25%向上させた。
• 純粋な活用は、事前の知識がなくても良好なパフォーマンスを示したが、おそらくコンテキストに起因する探索のおかげであり、知識勾配方策よりも高い分散を示した。
• トンプソンサンプリングは計算効率が高かったが、知識勾配方策が情報の価値を明示的にモデル化しているのに対し、探索と活用のトレードオフをより正確に近似できていなかった。
• 知識勾配方策は迅速な学習を示し、最適な治療の特定を素早く行い、患者への利益を早期に得られるようにした。
• クラスタリングとLASSOの使用は、データのスパarsityを効果的に緩和し、現実の臨床現場におけるモデルの安定性と予測性能を向上させた。