[论文解读] FIRE: Unsupervised bi-directional inter-modality registration using deep networks

Chengjia Wang, Giorgos Papanastasiou+4 more|arXiv (Cornell University)|Jul 11, 2019

Medical Image Segmentation Techniques参考文献 11被引用 12

一句话总结

本文提出FIRE，一种新颖的无监督深度学习框架，用于双向、逆一致性跨模态图像配准，联合学习仿射变换与非刚性变换。通过利用模态无关的潜在表征和循环一致性生成，FIRE在多序列脑部MRI和4D心脏电影MRI上实现了最先进性能，在具有挑战性的IR-FLAIR配准任务中Dice分数达到0.69，优于ANTs-SyN。

ABSTRACT

Inter-modality image registration is an critical preprocessing step for many applications within the routine clinical pathway. This paper presents an unsupervised deep inter-modality registration network that can learn the optimal affine and non-rigid transformations simultaneously. Inverse-consistency is an important property commonly ignored in recent deep learning based inter-modality registration algorithms. We address this issue through the proposed multi-task architecture and the new comprehensive transformation network. Specifically, the proposed model learns a modality-independent latent representation to perform cycle-consistent cross-modality synthesis, and use an inverse-consistent loss to learn a pair of transformations to align the synthesized image with the target. We name this proposed framework as FIRE due to the shape of its structure. Our method shows comparable and better performances with the popular baseline method in experiments on multi-sequence brain MR data and intra-modality 4D cardiac Cine-MR data.

研究动机与目标

• 为解决基于深度学习的跨模态配准中缺乏逆一致性的问题，该问题会损害解剖拓扑结构的保持。
• 开发一个统一框架，同时学习最优的仿射与非刚性变换，而无需依赖真实标签。
• 提升在高度不相似模态（如T1、FLAIR和IR脑部MRI序列）配准时的鲁棒性。
• 通过仅使用图像强度和空间一致性实现无监督训练，避免人工标注或预对齐数据。
• 引入一种新型架构与正则化方法，提升在IR-FLAIR等具有挑战性的跨模态配对中的性能。

提出的方法

• FIRE模型使用共享的合成编码器G，从输入图像x^A和x^B中提取模态无关的特征。
• 两个合成解码器F^{A→B}和F^{B→A}从共享特征中生成跨模态的合成图像。
• 两个变换网络T^{A→B}和T^{B→A}利用编码特征预测正向与逆向形变场。
• 通过最小化一个损失函数，强制φ^{A→B}与φ^{B→A}相互保持一致，从而实现逆一致性。
• 在合成图像上应用循环一致性对抗损失，以改善特征对齐与模态迁移质量。
• 采用一种新颖的正则化方法，利用预测的仿射变换来稳定非刚性配准。

实验结果

研究问题

• RQ1 无监督深度学习模型能否在无真实变换标签的情况下，实现跨模态MRI的逆一致性配准？
• RQ2 单一网络能否以双向方式联合优化仿射与非刚性变换？
• RQ3 模态不变特征学习是否能提升跨模态合成与配准的准确性？
• RQ4 在传统方法失效的IR与FLAIR等高度不相似模态上，该方法表现如何？
• RQ5 所提出的架构能否在3D脑部MRI与4D心脏电影MRI数据集上均实现最先进性能？

主要发现

• 在MRBrainS T1-FLAIR 3D配准任务中，FIRE在脑干（BS）上达到81.08的Dice分数，优于ANTs-SyN（79.77）。
• 在3D白质（WHM）上，FIRE达到72.56的Dice分数，略高于ANTs-SyN（72.33）。
• 在具有挑战性的IR-FLAIR配准任务中，FIRE达到0.69的Dice分数，而ANTs-SyN未能生成可见对齐，分数低于0.4。
• 在2D T1-FLAIR配准中，FIRE在BS上达到80.68的Dice分数，在WHM上达到84.18，优于ANTs-SyN（分别为78.73和81.36）。
• 在ACDC 4D心脏电影MRI上，FIRE在左心室心内膜（LVe）上达到90.08的Dice分数，与ANTs-SyN（90.81）相当。
• 该模型在2D T1-FLAIR病例中，对脑脊液轮廓在脑外空间的对齐效果具有更优的视觉表现。