[论文解读] Agent with Warm Start and Active Termination for Plane Localization in 3D Ultrasound

Haoran Dou, Xin Yang+9 more|arXiv (Cornell University)|Oct 10, 2019

Fetal and Pediatric Neurological Disorders参考文献 10被引用 4

一句话总结

本论文提出了一种基于地标感知热启动和基于RNN的主动终止策略的强化学习（RL）框架，用于3D超声胎儿脑部平面的自动定位。通过利用解剖图谱提供空间引导，并借助循环网络实现自适应停止，该方法在准确性方面表现优异（经颅平面为2.7 mm/9.1°），并将推理步骤减少了87%，显著提升了基线方法的效率与鲁棒性。

ABSTRACT

Standard plane localization is crucial for ultrasound (US) diagnosis. In prenatal US, dozens of standard planes are manually acquired with a 2D probe. It is time-consuming and operator-dependent. In comparison, 3D US containing multiple standard planes in one shot has the inherent advantages of less user-dependency and more efficiency. However, manual plane localization in US volume is challenging due to the huge search space and large fetal posture variation. In this study, we propose a novel reinforcement learning (RL) framework to automatically localize fetal brain standard planes in 3D US. Our contribution is two-fold. First, we equip the RL framework with a landmark-aware alignment module to provide warm start and strong spatial bounds for the agent actions, thus ensuring its effectiveness. Second, instead of passively and empirically terminating the agent inference, we propose a recurrent neural network based strategy for active termination of the agent's interaction procedure. This improves both the accuracy and efficiency of the localization system. Extensively validated on our in-house large dataset, our approach achieves the accuracy of 3.4mm/9.6° and 2.7mm/9.1° for the transcerebellar and transthalamic plane localization, respectively. Ourproposed RL framework is general and has the potential to improve the efficiency and standardization of US scanning.

研究动机与目标

• 解决3D超声产前胎儿脑部评估中标准平面定位存在的手动、耗时且依赖操作者的挑战。
• 通过强化学习克服现有方法在图像噪声、伪影及胎儿体位变化下泛化能力差的局限性。
• 通过引入基于地标感知的对齐模块实现热启动，以及基于RNN的主动终止策略，提升基于强化学习的平面定位的有效性与效率。
• 开发一种可泛化的框架，适用于3D超声数据中多个标准平面的定位，且仅需最少的人工干预。

提出的方法

• 采用深度强化学习智能体，通过与3D超声数据的迭代交互，选择动作以优化平面配置（法向量与偏移量），实现最优对齐。
• 引入基于地标感知的对齐模块，检测关键解剖标志（如胼胝体、小脑蚓部），并将其与受试者特异性图谱进行配准，为智能体初始化提供强空间先验。
• 采用双重深度Q网络（DDQN）作为RL主干网络，以稳定训练过程，并提升在高维动作空间中的策略学习能力。
• 实现一个循环神经网络（RNN）作为主动终止模块，分析推理过程中Q值序列，以检测最优停止点，避免过早或过度迭代。
• 将基于RNN的终止策略与DDQN集成，动态决定何时停止交互，实现精度与计算成本之间的平衡。
• 在包含100个体素的内部大规模数据集上进行训练与验证，评估指标包括角度偏差（Ang）、到原点的距离（Dis）以及SSIM。

实验结果

研究问题

• RQ1 在存在高图像噪声与显著解剖变异的情况下，强化学习智能体是否能有效定位3D超声中的标准胎儿脑平面？
• RQ2 引入解剖地标检测与图谱配准是否能提升基于强化学习的平面定位的收敛速度与精度？
• RQ3 基于RNN的主动终止机制是否在定位精度与推理效率方面优于固定或启发式停止准则？
• RQ4 与采用固定终止策略的标准RL智能体相比，所提框架在推理步骤数量上减少了多少？
• RQ5 通过地标对齐整合先验解剖知识，是否在多种胎儿体位下均带来可量化的定位性能提升？

主要发现

• 所提方法在经胼胝体平面中实现3.4 mm/9.6°的定位精度，在经丘脑平面中实现2.7 mm/9.1°的精度，显著优于基线回归与配准方法。
• 基于地标感知的对齐模块相比无对齐的基线DDQN（DDQN-nA），将角度误差降低了50%以上，证明其在提供强空间先验方面的有效性。
• 基于RNN的主动终止策略将平均推理步骤从100步减少至13步，实现87%的计算成本降低，同时提升了精度。
• 在所有变体中，DDQN-AT（LSTM）表现最佳，经丘脑平面为9.11°/2.66 mm，经胼胝体平面为9.53°/2.64 mm，表明其在序列建模方面具有优越能力。
• 主动终止策略实现了更早收敛而不损失精度，可视化结果表明最优终止步长与真实值高度一致。
• 该框架在多种胎儿体位与图像质量下均表现出鲁棒性，在100个体素测试数据中保持一致性能，验证了其泛化潜力。