[论文解读] Deep Reinforcement Learning for Organ Localization in CT

Fernando Navarro, Anjany Sekuboyina+4 more|arXiv (Cornell University)|May 11, 2020

Advanced Neural Network Applications被引用 24

一句话总结

本文提出一种基于深度强化学习（DRL）的方法，用于在CT扫描中进行器官定位，采用自定义的11种动作空间，通过迭代变形3D边界框来定位器官。该方法在仅使用70张训练扫描图像的VISCERAL数据集上，实现了0.63的IoU、2.25 mm的中位壁距离和3.65 mm的中位质心距离，达到当前最优性能，证明了在低数据环境下相比监督学习方法具有显著优势。

ABSTRACT

Robust localization of organs in computed tomography scans is a constant pre-processing requirement for organ-specific image retrieval, radiotherapy planning, and interventional image analysis. In contrast to current solutions based on exhaustive search or region proposals, which require large amounts of annotated data, we propose a deep reinforcement learning approach for organ localization in CT. In this work, an artificial agent is actively self-taught to localize organs in CT by learning from its asserts and mistakes. Within the context of reinforcement learning, we propose a novel set of actions tailored for organ localization in CT. Our method can use as a plug-and-play module for localizing any organ of interest. We evaluate the proposed solution on the public VISCERAL dataset containing CT scans with varying fields of view and multiple organs. We achieved an overall intersection over union of 0.63, an absolute median wall distance of 2.25 mm, and a median distance between centroids of 3.65 mm.

研究动机与目标

• 解决CT扫描中稳健器官定位的挑战，这是放射治疗、图像检索和配准等流程中的关键预处理步骤。
• 克服现有方法依赖大规模标注数据集或计算成本过高的局限，例如多图谱配准方法。
• 开发一种数据高效型器官定位解决方案，降低对大量人工标注训练数据的依赖。
• 通过单一可适配的强化学习智能体，实现任意目标器官的即插即用式定位。
• 证明强化学习可在远少于监督深度学习方法所需训练扫描数的情况下，有效学习器官定位。

提出的方法

• 将器官定位建模为在3D CT环境中的一系列决策问题，其中人工智能体学习优化目标器官周围的3D边界框。
• 设计一种新型11动作空间：6种用于3D平移，3种用于沿各轴缩放，2种用于全局缩放，实现对不同形状和大小器官的灵活边界框变形。
• 采用深度Q网络（DQN）智能体，通过深度强化学习进行训练，智能体根据IoU提升程度和与真实标注的接近度接收密集稀疏奖励。
• 采用课程学习策略，逐步提升定位任务的复杂度，以提高训练稳定性和收敛性。
• 在公开的VISCERAL数据集提供的70张CT扫描图像上训练智能体，利用智能体从单张扫描图像生成无限训练轨迹的能力。
• 将状态表示定义为以当前边界框为中心的3D裁剪区域，经3D卷积神经网络处理以提取空间特征，用于动作选择。

实验结果

研究问题

• RQ1 深度强化学习是否能在无需大规模标注数据集的情况下，有效学习CT扫描中的器官定位？
• RQ2 为适应器官形状和尺寸差异而定制的11动作空间，与标准仅含平移动作的强化学习方法相比，性能表现如何？
• RQ3 DRL在远少于监督深度学习方法所需训练扫描数的情况下，能否实现具有竞争力的定位性能？
• RQ4 单一统一策略是否能实现跨多种解剖结构、外观差异大、视野多样的器官的泛化定位？
• RQ5 鉴于存在无限多潜在轨迹，强化学习的序列性与自教性是否能实现从有限CT扫描中有效学习？

主要发现

• 所提出的DRL方法在VISCERAL数据集上对七种器官的平均交并比（IoU）达到0.63，展现出优异的定位精度。
• 预测边界框与真实边界框之间的中位壁距离为2.25 mm，表明在器官边界对齐方面具有高空间精度。
• 预测与真实器官质心之间的中位距离为3.65 mm，表明即使在形状和尺寸变化较大的情况下，也能实现准确的中心定位。
• 在数据效率方面，该方法优于多个监督学习基线模型，仅用70张训练扫描图像即达到具有竞争力的结果——约为当前SOTA CNN方法所需数据量的1/20。
• 智能体成功实现了在多种解剖结构和扫描视野下的器官定位，证实了该方法的鲁棒性与泛化能力。
• 采用自定义的11动作空间可有效实现边界框对不同纵横比器官的拟合，而仅使用平移动作的标准方法则无法实现此效果。