[论文解读] Image-and-Spatial Transformer Networks for Structure-Guided Image Registration

Matthew C. H. Lee, Ozan Oktay+3 more|arXiv (Cornell University)|Jul 22, 2019

Medical Image Segmentation Techniques参考文献 10被引用 9

一句话总结

该论文提出图像与空间变换网络（ISTNs），一种新颖的深度学习框架，利用感兴趣结构（SoI）如分割图来学习任务特定的图像表征，以提升图像配准性能。通过利用这些学习到的表征实现测试时的迭代优化，ISTNs在有限训练数据下显著提升了配准精度，尤其在3D脑部MRI数据集上，优于监督与无监督基线方法。

ABSTRACT

Image registration with deep neural networks has become an active field of research and exciting avenue for a long standing problem in medical imaging. The goal is to learn a complex function that maps the appearance of input image pairs to parameters of a spatial transformation in order to align corresponding anatomical structures. We argue and show that the current direct, non-iterative approaches are sub-optimal, in particular if we seek accurate alignment of Structures-of-Interest (SoI). Information about SoI is often available at training time, for example, in form of segmentations or landmarks. We introduce a novel, generic framework, Image-and-Spatial Transformer Networks (ISTNs), to leverage SoI information allowing us to learn new image representations that are optimised for the downstream registration task. Thanks to these representations we can employ a test-specific, iterative refinement over the transformation parameters which yields highly accurate registration even with very limited training data. Performance is demonstrated on pairwise 3D brain registration and illustrative synthetic data.

研究动机与目标

• 为解决当前基于深度学习的图像配准方法在非迭代、单次推理时对感兴趣结构（SoI）对齐性能不佳的问题。
• 克服现有监督与无监督方法在推理过程中不保留或利用SoI信息的局限性。
• 开发一种通用、端到端可训练的框架，学习针对配准优化的表征，实现在推理时的迭代优化。
• 通过在训练中利用SoI信息并允许推理时动态适应，提升数据效率与配准精度。

提出的方法

• ISTNs采用双分支架构：一个分支处理输入图像对，另一个分支处理SoI信息（如分割图），以学习针对配准优化的表征。
• 该框架采用空间变换网络（STNs）预测变换参数，但与先前方法不同的是，它使用SoI感知的表征来引导变换学习。
• 提出两种变体：显式（ISTN-e）与隐式（ISTN-i），后者在无直接监督下学习表征，降低对噪声SoI的过拟合风险。
• 在初始预测后，ISTNs利用学习到的表征对测试样本进行特定的迭代优化，实现对齐性能的逐步提升。
• 该方法使用可微分的空间变换模块执行可微分的图像形变，支持反向传播通过变换过程。
• 损失函数结合了差异度量（如均方误差）与基于SoI的监督，实现外观与结构对齐的联合优化。

实验结果

研究问题

• RQ1 在训练中引入感兴趣结构（SoI）是否能提升基于深度学习的图像配准精度，尤其是在训练数据有限的情况下？
• RQ2 使用SoI引导的表征进行测试时的迭代优化，是否能优于基于深度学习方法的单次推理？
• RQ3 对SoI表征进行隐式学习是否能降低在SoI标注存在噪声或损坏时的过拟合风险？
• RQ4 在3D脑部MRI数据上，所提出的ISTN框架与监督与无监督STN基线相比，在Dice分数与平均表面距离（ASD）方面表现如何？
• RQ5 ISTN框架在图像配准中提升数据效率的程度如何？

主要发现

• ISTNs在单次预测中优于监督（STN-s）与无监督（STN-u）基线，仅使用100对训练样本即实现0.75（仿射）与0.80（B样条）的Dice分数。
• 经过迭代优化后，ISTNs的Dice分数分别达到0.82（仿射）与0.85（B样条），分别接近使用SoI直接计算的上限值0.84与0.91。
• 仅使用100对训练样本，ISTNs的精度即超过在1,000对样本上训练的STN-u/s，证明其卓越的数据效率。
• 隐式变体（ISTN-i）与显式变体（ISTN-e）性能相当，表明其对噪声或损坏的SoI标注具有鲁棒性。
• 经过优化后，平均表面距离（ASD）降低至0.58（仿射）与0.46（B样条），显著优于基线方法。
• 定性结果表明，ISTNs学习到了对皮层下结构的有意义表征，热力图与真实分割图高度对齐。