[论文解读] Dilated FCN for Multi-Agent 2D/3D Medical Image Registration

Shun Miao, Sebastien Piat+5 more|arXiv (Cornell University)|Nov 22, 2017

Medical Imaging and Analysis参考文献 12被引用 15

一句话总结

该论文提出了一种基于空洞全卷积网络（dilated FCNs）的多智能体注意力增强马尔可夫决策过程（MDP）框架，用于实现鲁棒的2D/3D医学图像配准。通过在空洞FCN嵌入的观测上训练多个局部智能体，并利用可学习的注意力权重聚合其动作，该方法在存在严重伪影的临床脊柱手术数据上实现了10倍的训练加速和10倍的总体失败率（GFR）降低，优于最先进的优化方法和单智能体方法。

ABSTRACT

2D/3D image registration to align a 3D volume and 2D X-ray images is a challenging problem due to its ill-posed nature and various artifacts presented in 2D X-ray images. In this paper, we propose a multi-agent system with an auto attention mechanism for robust and efficient 2D/3D image registration. Specifically, an individual agent is trained with dilated Fully Convolutional Network (FCN) to perform registration in a Markov Decision Process (MDP) by observing a local region, and the final action is then taken based on the proposals from multiple agents and weighted by their corresponding confidence levels. The contributions of this paper are threefold. First, we formulate 2D/3D registration as a MDP with observations, actions, and rewards properly defined with respect to X-ray imaging systems. Second, to handle various artifacts in 2D X-ray images, multiple local agents are employed efficiently via FCN-based structures, and an auto attention mechanism is proposed to favor the proposals from regions with more reliable visual cues. Third, a dilated FCN-based training mechanism is proposed to significantly reduce the Degree of Freedom in the simulation of registration environment, and drastically improve training efficiency by an order of magnitude compared to standard CNN-based training method. We demonstrate that the proposed method achieves high robustness on both spine cone beam Computed Tomography data with a low signal-to-noise ratio and data from minimally invasive spine surgery where severe image artifacts and occlusions are presented due to metal screws and guide wires, outperforming other state-of-the-art methods (single agent-based and optimization-based) by a large margin.

研究动机与目标

• 解决在严重图像伪影和低信噪比条件下2D/3D医学图像配准的鲁棒性与效率挑战。
• 克服基于单智能体MDP的配准方法的局限性，包括对固定感兴趣区域先验的依赖以及对不可靠视觉线索处理能力差的问题。
• 通过降低有效自由度，减少高自由度配准环境中的高训练计算成本。
• 通过多智能体协作与置信加权动作聚合，提升微创脊柱手术中配准的鲁棒性。

提出的方法

• 将2D/3D配准建模为马尔可夫决策过程（MDP），其中环境状态由局部图像观测定义，动作为6自由度（6-DoF）位姿调整，奖励基于图像相似性度量。
• 采用多个独立智能体，每个智能体通过空洞FCN处理局部图像块并预测位姿调整，实现并行且高效的推理。
• 引入一种自动注意力机制，根据其置信度和视觉线索可靠性，动态加权来自不同智能体的预测。
• 应用基于空洞FCN的训练策略，将仿真环境中的有效自由度从8降低至4，从而实现对多个位移的高效反向传播。
• 使用双编码策略网络，分别处理固定（3D容积）和移动（2D X射线）图像，以改善特征表示。
• 通过置信加权融合机制聚合多个智能体的动作，优先选择视觉一致性更高、模糊性更低区域的预测。

实验结果

研究问题

• RQ1 基于注意力机制的动作聚合的多智能体MDP框架是否能显著提升在严重伪影和低信噪比条件下的2D/3D配准鲁棒性？
• RQ2 在不牺牲性能的前提下，如何显著提升高维配准环境中的训练效率？
• RQ3 空洞FCN-based特征学习在多大程度上能保持空间精度，以支持小位移估计任务？
• RQ4 缺乏目标位置或尺寸的先验知识是否会阻碍性能表现，多智能体学习能否弥补这一缺陷？
• RQ5 在复杂临床场景中，多个局部智能体预测的自注意力融合是否能优于单智能体或基于优化的基线方法？

主要发现

• 所提方法在CBCT数据上的总体失败率（GFR）降低至2.1%，在临床脊柱手术数据上为6.1%，相比次优方法实现10倍改进。
• 在临床数据上，该方法实现了1.99 mm的中位目标配准误差（TRE），显著优于次优方法ES-GO的3.18 mm。
• 基于空洞FCN的训练策略使所需训练样本数量减少一个数量级，显著提升了训练效率。
• 采用自注意力机制的多智能体系统在CBCT数据上实现4.1%的GFR，在临床数据上为6.8%，即使未在真实手术数据上微调，也表现出强鲁棒性。
• 该方法在保持高精度（中位TRE < 2 mm）的同时实现低失败率，在鲁棒性与精度方面均优于单智能体和基于优化的方法。
• 消融实验证实，自注意力机制通过聚焦于可靠的视觉线索（尤其在被遮挡或伪影严重的区域）显著提升了性能。