[論文レビュー] Deep reinforcement learning to detect brain lesions on MRI: a proof-of-concept application of reinforcement learning to medical images

Joseph N. Stember, Hrithwik Shalu|arXiv (Cornell University)|Aug 6, 2020

Brain Tumor Detection and Classification参考文献 19被引用数 6

ひとこと要約

本研究では、70枚のアノテート済み2次元スライスのみを用いて、スパarselyリワードを用いて深層Qネットワークを訓練する、深層強化学習（DRL）アプローチを提案し、MRIスキャンにおける脳損傷病変の検出を実現した。30枚のテストセットにおいて、病変の局在化精度は85%に達した。これは、教師ありキーポイント検出ネットワーク（約7%）を著しく上回り、医療画像AIにおけるデータ不足や一般化の問題を克服できるDRLの可能性を示している。

ABSTRACT

Purpose: AI in radiology is hindered chiefly by: 1) Requiring large annotated data sets. 2) Non-generalizability that limits deployment to new scanners / institutions. And 3) Inadequate explainability and interpretability. We believe that reinforcement learning can address all three shortcomings, with robust and intuitive algorithms trainable on small datasets. To the best of our knowledge, reinforcement learning has not been directly applied to computer vision tasks for radiological images. In this proof-of-principle work, we train a deep reinforcement learning network to predict brain tumor location. Materials and Methods: Using the BraTS brain tumor imaging database, we trained a deep Q network on 70 post-contrast T1-weighted 2D image slices. We did so in concert with image exploration, with rewards and punishments designed to localize lesions. To compare with supervised deep learning, we trained a keypoint detection convolutional neural network on the same 70 images. We applied both approaches to a separate 30 image testing set. Results: Reinforcement learning predictions consistently improved during training, whereas those of supervised deep learning quickly diverged. Reinforcement learning predicted testing set lesion locations with 85% accuracy, compared to roughly 7% accuracy for the supervised deep network. Conclusion: Reinforcement learning predicted lesions with high accuracy, which is unprecedented for such a small training set. We believe that reinforcement learning can propel radiology AI well past the inherent limitations of supervised deep learning, with more clinician-driven research and finally toward true clinical applicability.

研究の動機と目的

• 放射線診断分野における教師あり深層学習の限界、すなわち大規模なアノテート済みデータセットへの依存、スキャナーや施設間での一般化の悪さ、解釈不能性を是正すること。
• 強化学習（RL）が、強力でデータ効率的かつ臨床的に解釈可能な病変検出を医療画像分野で実現できるかどうかを検討すること。
• 70枚の対照的T1強調MRIスライスという小規模データセットを用いて、深層Qネットワークを訓練し、脳腫瘍の局在化を実現する可能性を評価すること。
• 同じ小規模データセットを用いて、DRLと教師ありキーポイント検出の性能および学習安定性を比較すること。
• RLが限られたデータでも高精度な病変検出を達成できることを示し、放射線診断分野におけるより臨床的応用が可能なAIの道筋を示すこと。

提案手法

• エージェントが2次元MRIスライスを探索して脳損傷病変を特定する、カスタム環境を用いて深層Qネットワーク（DQN）を訓練した。
• 真の病変位置に近いほど報酬が得られる密度の薄いスパースリワードを導入し、正確な局在化を促進した。
• エピソードの探索にはエプソン・グリーディ戦略を用い、経験リプレイとターゲットネットワークを用いてQ値を更新し、学習の安定化を図った。
• 同じ70枚の訓練画像を用いて、直接比較を可能にするために教師ありキーポイント検出畳み込みニューラルネットワークも訓練した。
• テストは別途用意した30枚の画像セットで実施し、病変予測の正確性は、予測位置が真値から定義された距離内に入った割合として測定した。
• 報酬関数は、誤った位置を罰する一方で、病変に近い位置を報酬することで、エージェントが最適なナビゲーションと局在化を学習できるように設計された。

実験結果

リサーチクエスチョン

• RQ1 スパースなアノテートデータのみを用いて、深層強化学習が脳MRIにおける高精度な病変検出を達成できるか？
• RQ2 小規模な医療画像データセットにおいて、DRLの性能と学習安定性は、教師あり深層学習と比べてどのように異なるか？
• RQ3 大規模なラベル付きデータセットへの依存が少ないため、RLベースのモデルはスキャナーや施設間でより一般化しやすいか？
• RQ4 RLにおけるスパースで環境依存の報酬が、病変検出システムの解釈可能性と臨床的信頼性を向上させるか？
• RQ5 強化学習は、現在の教師あり深層学習アプローチに内在するデータ効率性と一般化の限界を克服できるか？

主な発見

• 深層強化学習モデルは、30枚のテストセットにおいて85%の精度で脳損傷病変を局在化した。これは、教師ありベースラインを著しく上回った。
• 同じテストセットで、教師ありキーポイント検出ネットワークの精度は約7%にまで低下し、小規模データでの著しい過学習または発散を示した。
• 強化学習の予測は訓練の過程で一貫して向上し、安定した学習ダイナミクスを示した。
• DRLモデルは頑健で適応性に富んでおり、異なる画像プロトコルやスキャナでの展開の可能性を示した。
• 結果から、RLは最小限のデータでも高い性能を達成できることを示し、医療画像AIにおいて大規模なアノテートデータセットが不可欠であるという仮定に疑問を呈した。
• 本概念実証は、強化学習が、データの過剰消費と一般化の悪さといった教師あり学習の主な限界を克服できる可能性を示している。