[論文レビュー] Reinforcement Learning in Healthcare: A Survey

Chao Yu, Jiming Liu+1 more|arXiv (Cornell University)|Aug 22, 2019

Machine Learning in Healthcare参考文献 336被引用数 116

ひとこと要約

医療分野における強化学習（RL）の総合的な調査で、理論的基盤、主要手法、多様な臨床応用、そして未解決の課題を詳述する。

ABSTRACT

As a subfield of machine learning, reinforcement learning (RL) aims at empowering one's capabilities in behavioural decision making by using interaction experience with the world and an evaluative feedback. Unlike traditional supervised learning methods that usually rely on one-shot, exhaustive and supervised reward signals, RL tackles with sequential decision making problems with sampled, evaluative and delayed feedback simultaneously. Such distinctive features make RL technique a suitable candidate for developing powerful solutions in a variety of healthcare domains, where diagnosing decisions or treatment regimes are usually characterized by a prolonged and sequential procedure. This survey discusses the broad applications of RL techniques in healthcare domains, in order to provide the research community with systematic understanding of theoretical foundations, enabling methods and techniques, existing challenges, and new insights of this emerging paradigm. By first briefly examining theoretical foundations and key techniques in RL research from efficient and representational directions, we then provide an overview of RL applications in healthcare domains ranging from dynamic treatment regimes in chronic diseases and critical care, automated medical diagnosis from both unstructured and structured clinical data, as well as many other control or scheduling domains that have infiltrated many aspects of a healthcare system. Finally, we summarize the challenges and open issues in current research, and point out some potential solutions and directions for future research.

研究の動機と目的

• 医療に関連する RL の基礎と手法を系統的に理解させる。
• 動的治療計画、集中治療、自動診断、医療システム運用における RL 応用を要約する。
• 医療分野におけるRL研究の課題、未解決の問題、将来の方向性を特定する。
• 効率的な rl 技術と表現力豊かな rl 技術を対比し、それらが医療問題に適しているかを検討する。

提案手法

• RL の理論的基礎（MDP、価値関数、Q-learning、DP、方策対価値ベースの手法）をレビューする。
• 効率的（BRL、モデルベース、転移学習）と表現型（HRL、RRL、POMDP/PORL、IRL、MORL）手法を論じる。
• 探索-利用戦略と主要な課題（安全性、堅牢性、解釈性）を説明する。
• 状態、行動、報酬、タスクの核となる RL 表現を要約する（因子化MDP、HRL、RRL、POMDP）。
• 医療分野の RL 応用を動的治療計画、自動診断、その他の医療領域に分類する。

実験結果

リサーチクエスチョン

• RQ1 医療の逐次的意思決定問題に最も適用可能な RL の基礎と手法は何か?
• RQ2 医療における動的治療計画と自動診断に RL 手法はどのように適用されているか?
• RQ3 医療での RL の広範な採用を妨げる主な課題と未解決の問題は何か、将来の方向性は提案されているか、

主な発見

• RL は逐次的で遅延報酬型の医療問題に適しており、明示的なシステムモデルなしに個別化治療を適応できる。
• BRL, MRl, HRL, RRL, IRL, MORL, および POMDP/PORL の表現は、医療コンテキストで学習効率とスケーラビリティを高める。
• Applications span dynamic treatment regimes in chronic diseases and critical care, automated diagnosis from structured/unstructured data, and health system management.
• The survey highlights challenges such as safety, robustness, data scarcity, interpretability, and the need for principled evaluation in healthcare RL.
• Future directions emphasize integrating domain knowledge, improving sample efficiency, and developing reliable, explainable RL methods for clinical deployment.