[論文レビュー] Evaluating Reinforcement Learning Algorithms in Observational Health Settings

Omer Gottesman, Fredrik Johansson+18 more|arXiv (Cornell University)|May 31, 2018

Machine Learning in Healthcare参考文献 13被引用数 86

ひとこと要約

この論文は、観察データを用いた強化学習ポリシーの評価における課題を分析し、敗血症管理における混乱、表現、およびオフポリシー評価の課題を強調し、ベストプラクティスの推奨を提供します。

ABSTRACT

Much attention has been devoted recently to the development of machine learning algorithms with the goal of improving treatment policies in healthcare. Reinforcement learning (RL) is a sub-field within machine learning that is concerned with learning how to make sequences of decisions so as to optimize long-term effects. Already, RL algorithms have been proposed to identify decision-making strategies for mechanical ventilation, sepsis management and treatment of schizophrenia. However, before implementing treatment policies learned by black-box algorithms in high-stakes clinical decision problems, special care must be taken in the evaluation of these policies. In this document, our goal is to expose some of the subtleties associated with evaluating RL algorithms in healthcare. We aim to provide a conceptual starting point for clinical and computational researchers to ask the right questions when designing and evaluating algorithms for new ways of treating patients. In the following, we describe how choices about how to summarize a history, variance of statistical estimators, and confounders in more ad-hoc measures can result in unreliable, even misleading estimates of the quality of a treatment policy. We also provide suggestions for mitigating these effects---for while there is much promise for mining observational health data to uncover better treatment policies, evaluation must be performed thoughtfully.

研究の動機と目的

• 医療における RL ポリシーの慎重な評価を喚起する。特に、患者の命が実験として扱われない観察設定において。
• 履歴表現と交絡がポリシー推定にどう影響するかを示す。
• 医療分野の RL におけるオフポリシー評価手法の限界と、場当たり的な評価指標について論じる。
• ポリシー評価の偏りと分散を緩和する実用的な推奨を提供する。

提案手法

• MIMIC III データから状態・行動・報酬の定義を用いて、敗血症管理を RL問題として形式化する。
• 状態表現の選択が交絡とポリシーの品質にどう影響するかを示す。
• オフポリシー評価法（Importance Sampling: PDIS, WPDIS, DR, WDR）を回顧データに適用する。
• モデルベースと IS ベースの価値推定を比較してポリシーの性能を評価する。
• 決定論的ポリシーと確率的ポリシーが評価の偏りと分散に与える影響を分析する。
• 重要度ウェイトの分布と有効サンプルサイズの診断を提供する。

実験結果

リサーチクエスチョン

• RQ1 患者の歴史表現の選択は交絡と学習済みポリシーの信頼性にどう影響するか？
• RQ2 敗血症管理における逐次的な医療決定のオフポリシー評価手法の限界は何か？
• RQ3 観察データにおけるIS推定量の分散と偏りに決定論的アクションポリシーはどう影響するか？
• RQ4 回顧的な医療データを用いて RL ポリシーを評価する際に、バイアスを緩和するベストプラクティスは何か？

主な発見

• 決定論的ポリシーは、結果がまばらで一致する軌跡が少ないため、IS推定量の分散が高くなることが多い。
• この設定ではモデルベースの価値推定はバイアスがあるが、IS推定量より分散が小さい。
• Weighted IS（WDR, WPDIS）は分散を低減するがバイアスを導入する。無重みのISは極端に高い分散を示す。
• ISを用いて学習ポリシーを評価する際の有効サンプルサイズは非常に小さくなり、信頼性が疑問視される。
• 場当たり的なU字カーブ分析は交絡とアクションビンのアーチファクトにより誤解を招く可能性がある。解釈性と臨床医の入力が不可欠。
• 医師の実践に近いポリシーを評価することは、評価性と結論の信頼性を高める。）