[论文解读] Deep reinforcement learning to detect brain lesions on MRI: a proof-of-concept application of reinforcement learning to medical images

Joseph N. Stember, Hrithwik Shalu|arXiv (Cornell University)|Aug 6, 2020

Brain Tumor Detection and Classification参考文献 19被引用 6

一句话总结

本研究提出一种深度强化学习（DRL）方法，用于在MRI扫描中检测脑部病变，通过稀疏奖励在仅70张标注的2D切片上训练深度Q网络。该方法在30张图像的测试集上实现了85%的病变定位准确率，显著优于仅获得约7%准确率的监督关键点检测网络，证明了DRL在克服医学影像人工智能中数据稀缺和泛化性问题方面的潜力。

ABSTRACT

Purpose: AI in radiology is hindered chiefly by: 1) Requiring large annotated data sets. 2) Non-generalizability that limits deployment to new scanners / institutions. And 3) Inadequate explainability and interpretability. We believe that reinforcement learning can address all three shortcomings, with robust and intuitive algorithms trainable on small datasets. To the best of our knowledge, reinforcement learning has not been directly applied to computer vision tasks for radiological images. In this proof-of-principle work, we train a deep reinforcement learning network to predict brain tumor location. Materials and Methods: Using the BraTS brain tumor imaging database, we trained a deep Q network on 70 post-contrast T1-weighted 2D image slices. We did so in concert with image exploration, with rewards and punishments designed to localize lesions. To compare with supervised deep learning, we trained a keypoint detection convolutional neural network on the same 70 images. We applied both approaches to a separate 30 image testing set. Results: Reinforcement learning predictions consistently improved during training, whereas those of supervised deep learning quickly diverged. Reinforcement learning predicted testing set lesion locations with 85% accuracy, compared to roughly 7% accuracy for the supervised deep network. Conclusion: Reinforcement learning predicted lesions with high accuracy, which is unprecedented for such a small training set. We believe that reinforcement learning can propel radiology AI well past the inherent limitations of supervised deep learning, with more clinician-driven research and finally toward true clinical applicability.

研究动机与目标

• 为解决监督深度学习在放射学中的局限性，包括对大规模标注数据集的依赖、跨扫描仪/机构的泛化能力差以及可解释性低的问题。
• 探索强化学习（RL）是否能够实现鲁棒、数据高效且临床可解释的医学影像病变检测。
• 评估在仅70张对比增强T1加权MRI切片的小样本数据集上训练深度Q网络以实现脑肿瘤定位的可行性。
• 对比DRL与监督关键点检测在相同小样本数据集上的性能和训练稳定性。
• 证明即使数据有限，RL也能在病变检测中实现高准确率，为放射学中更具临床适用性的AI铺平道路。

提出的方法

• 使用自定义环境训练深度Q网络（DQN），其中智能体在2D MRI切片中探索以定位脑部病变。
• 智能体根据与真实病变位置的距离获得密集稀疏奖励，以鼓励精确的定位。
• 训练过程采用ε-贪婪策略进行探索，通过经验回放和目标网络更新Q值，以稳定学习过程。
• 使用相同的70张训练图像训练一个监督关键点检测卷积神经网络，以便进行直接对比。
• 在独立的30张图像测试集上进行测试，病变预测准确率以预测结果与真实值距离在预定义范围内的比例进行衡量。
• 奖励函数被设计为惩罚错误位置并奖励靠近病变的位置，使智能体能够学习最优导航与定位策略。

实验结果

研究问题

• RQ1 深度强化学习能否在极少量标注数据下实现脑部MRI中高精度的病变检测？
• RQ2 在小样本医学影像数据集上，DRL的性能和训练稳定性与监督深度学习相比如何？
• RQ3 由于减少了对大规模标注数据集的依赖，基于RL的模型是否能在不同扫描仪和机构间表现出更好的泛化能力？
• RQ4 在RL中使用稀疏的、基于环境的奖励是否能提升可解释性并增强临床医生对病变检测系统的信任？
• RQ5 强化学习能否克服当前监督深度学习在放射学中固有的数据效率和泛化性局限？

主要发现

• 深度强化学习模型在30张图像的测试集上实现了85%的脑部病变定位准确率，显著优于监督基线模型。
• 监督关键点检测网络在同一测试集上的准确率降至约7%，表明在小样本数据上存在严重过拟合或训练发散现象。
• 强化学习的预测结果在训练过程中持续改善，显示出稳定的训练动态。
• DRL模型表现出鲁棒性和适应性，表明其在不同成像协议和扫描仪上部署的潜力。
• 结果表明，即使数据极少，RL也能实现高性能，挑战了大规模标注数据集对医学图像AI必不可少的假设。
• 本概念验证表明，强化学习可能克服监督学习在放射学中的关键局限，包括数据饥渴和泛化能力差的问题。