[论文解读] Linear and Deformable Image Registration with 3D Convolutional Neural Networks

Stergios Christodoulidis, Mihir Sahasrabudhe+5 more|arXiv (Cornell University)|Sep 13, 2018

Radiomics and Machine Learning in Medical Imaging被引用 6

一句话总结

该论文提出一种3D卷积神经网络，通过可微分的变形层和模块化相似性函数，在单一端到端框架中联合学习线性和可变形图像配准，采用无监督训练。该方法实现接近实时的性能（每例0.5秒），在3D MRI肺部数据上优于最先进弹性配准方法，具有更高的精度和对间质性肺病分类的临床相关性。

ABSTRACT

Image registration and in particular deformable registration methods are pillars of medical imaging. Inspired by the recent advances in deep learning, we propose in this paper, a novel convolutional neural network architecture that couples linear and deformable registration within a unified architecture endowed with near real-time performance. Our framework is modular with respect to the global transformation component, as well as with respect to the similarity function while it guarantees smooth displacement fields. We evaluate the performance of our network on the challenging problem of MRI lung registration, and demonstrate superior performance with respect to state of the art elastic registration methods. The proposed deformation (between inspiration & expiration) was considered within a clinically relevant task of interstitial lung disease (ILD) classification and showed promising results.

研究动机与目标

• 开发一种统一的无监督深度学习框架，联合优化3D医学图像中的线性和可变形图像配准。
• 降低计算成本，实现实时推理，同时保持高配准精度。
• 构建一种与相似性度量选择和变换类型无关的模块化架构。
• 评估所学习变形在从吸气-呼气肺部扫描中分类间质性肺病（ILD）的临床相关性。
• 证明深度学习配准生成的形变场包含可用于疾病诊断的判别性信息。

提出的方法

• 该方法采用带有可微分变形层的3D CNN，通过反向三线性插值实现梯度传播，确保反向传播期间的梯度流动。
• 形变场被建模为仿射（线性）变换矩阵A与非线性、密集位移场G_N的组合，两者均端到端预测。
• 网络采用模块化设计，其中相似性函数（如NCC、MI、DWM）与网络架构解耦，支持灵活集成。
• 变形层通过定义G为密集体素位移图，确保变换平滑且不自相交。
• 网络仅使用图像强度相似性进行无监督训练，无需真实形变场监督。
• 提取残差形变G_δ = G - G_I，并将其用作下游ILD诊断分类器的输入。

实验结果

研究问题

• RQ1 单一深度学习架构能否在统一的端到端框架中有效耦合线性和可变形配准？
• RQ2 所提出的无监督3D CNN在3D MRI肺部数据上的配准精度是否优于最先进弹性配准方法？
• RQ3 网络学习到的形变场能否用于预测临床结局，如间质性肺病状态？
• RQ4 线性组件的引入如何影响整体配准性能和计算效率？
• RQ5 形变场在多大程度上保留了对疾病分类具有临床意义的解剖学信息？

主要发现

• 该方法在肺部配准任务中实现了4.358 mm的平均目标配准误差（ds），优于基线方法（4.699 mm）和去除了仿射组件的消融版本（4.569 mm）。
• 引入线性组件使配准精度提升了约0.5%，证明其对性能有显著贡献。
• 该方法在GPU上实现了每例约0.5秒的推理时间，支持近实时应用。
• 基于残差形变训练的分类器在区分健康与患病患者方面达到了84.62%的准确率，显著优于基线方法（69.23%）。
• 可视化结果显示，配准误差主要集中在图像边界区域，大范围局部位移未被完全捕捉。
• 模块化设计支持与多种相似性度量（NCC、DWM、MI）的无缝集成，证实其在不同优化标准下的灵活性与鲁棒性。