[論文レビュー] Effective Medical Test Suggestions Using Deep Reinforcement Learning

Yang-En Chen, Kai-Fu Tang+2 more|arXiv (Cornell University)|May 30, 2019

Reinforcement Learning in Robotics参考文献 12被引用数 3

ひとこと要約

本論文では、複数の医療検査を同時に学習することで、疾患診断の正確性を向上させる深層強化学習エージェントを提案する。段階的マーカフ連鎖意思決定過程（MDP）を用い、新規の複数行動方策表現とラベル誘導型探索を組み合わせることで、重複検査を低減しつつ、200疾患の設定で平均4.77検査／患者で89.75％のトップ5診断正確性を達成した。

ABSTRACT

Effective medical test suggestions benefit both patients and physicians to conserve time and improve diagnosis accuracy. In this work, we show that an agent can learn to suggest effective medical tests. We formulate the problem as a stage-wise Markov decision process and propose a reinforcement learning method to train the agent. We introduce a new representation of multiple action policy along with the training method of the proposed representation. Furthermore, a new exploration scheme is proposed to accelerate the learning of disease distributions. Our experimental results demonstrate that the accuracy of disease diagnosis can be significantly improved with good medical test suggestions.

研究の動機と目的

• 効果的な医療検査の自動提案によって、医療診断の正確性を向上させること。
• 一度に複数の医療検査を提案する課題に取り組み、患者の来院回数を減らし、効率を向上させること。
• 強化学習の訓練において、大きな行動空間における探索負荷を軽減すること。
• 訓練中に疾患ラベル情報を活用することで、学習を加速すること。
• 症状照会、検査提案、疾患予測を段階的意思決定ステージとしてモデル化する段階的MDPフレームワークの開発

提案手法

• 症状照会、医療検査提案、疾患予測の3段階に分けた段階的マーカフ連鎖意思決定過程（MDP）として医療検査提案を定式化する。
• 1ステップの意思決定で複数の医療検査を同時に選択可能な、新規の複数行動方策表現を導入する。
• 階層的行動空間と方策勾配技術を用いた、複数行動方策のための特別な訓練手法を開発する。
• 訓練中に真の疾患ラベルを活用し、情報量の多い行動を優先することで収束を加速するラベル誘導型探索戦略を提案する。
• ステージフラグを用いて段階的意思決定をガイドする、人口統計データ、症状、医療検査結果を含む状態表現を採用する。
• 長期的な診断正確性を最適化するため、割引累積報酬関数を用い、トップ-k予測性能の向上に応じて報酬を形状化する。

実験結果

リサーチクエスチョン

• RQ1 強化学習エージェントは、複数の医療検査を同時に提案することで診断正確性を向上させることができるか？
• RQ2 段階的MDPフレームワークは、医療検査提案における学習効率を向上させ、行動空間の複雑性を低減するか？
• RQ3 ラベル誘導型探索は、疾患分布学習における方策訓練の加速にどの程度寄与するか？
• RQ4 実臨床シナリオにおいて、検査提案頻度と診断正確性の最適なバランスは何か？
• RQ5 提案手法は、ベースライン手法と比較して、異常検査結果をどの程度効果的に発見できるか？

主な発見

• 提案手法は200疾患データセットで89.75％のトップ5診断正確性を達成し、ベースラインのREFUELモデルと比較して7％～14％の向上を示した。
• 患者1人あたり平均4.77件の医療検査を提案し、200疾患設定全体で47.59％の提案確率を示した。
• 200疾患設定において、異常検査結果の92.81％を発見し、臨床的に重要な異常を高い感度で捉えることができた。
• 訓練経過に伴い、提案された検査数の平均が減少したため、最小限かつ情報量の多い検査セットの学習が有効に行われたことが示された。
• ラベル誘導型探索戦略により、収束が著しく早まり、初期訓練段階の正確性も向上したことが実証された。
• 400疾患設定では、79.73％のトップ5正確性を維持し、異常の73.70％を発見し、疾患複雑度の増加に対しても頑健であることが示された。