[论文解读] DeepAtlas: Joint Semi-Supervised Learning of Image Registration and Segmentation

Zhenlin Xu, Marc Niethammer|arXiv (Cornell University)|Apr 17, 2019

Medical Image Segmentation Techniques参考文献 11被引用 25

一句话总结

DeepAtlas 提出了一种联合深度学习框架，通过少量人工标注图像同时训练分割和配准网络。通过利用一种解剖学相似性损失，强制在配准图像间保持一致的分割结果，该方法提升了分割和配准的准确性，在仅支持单张图像标注的少样本学习场景下，膝关节和脑部MRI数据的Dice分数分别实现了2.7和1.8的绝对提升。

ABSTRACT

Deep convolutional neural networks (CNNs) are state-of-the-art for semantic image segmentation, but typically require many labeled training samples. Obtaining 3D segmentations of medical images for supervised training is difficult and labor intensive. Motivated by classical approaches for joint segmentation and registration we therefore propose a deep learning framework that jointly learns networks for image registration and image segmentation. In contrast to previous work on deep unsupervised image registration, which showed the benefit of weak supervision via image segmentations, our approach can use existing segmentations when available and computes them via the segmentation network otherwise, thereby providing the same registration benefit. Conversely, segmentation network training benefits from the registration, which essentially provides a realistic form of data augmentation. Experiments on knee and brain 3D magnetic resonance (MR) images show that our approach achieves large simultaneous improvements of segmentation and registration accuracy (over independently trained networks) and allows training high-quality models with very limited training data. Specifically, in a one-shot-scenario (with only one manually labeled image) our approach increases Dice scores (%) over an unsupervised registration network by 2.7 and 1.8 on the knee and brain images respectively.

研究动机与目标

• 为解决3D医学图像分析中人工分割数据有限的挑战。
• 通过联合训练网络并利用弱监督和半监督信号，提升配准与分割性能。
• 通过网络间的相互监督，实现在单张图像标注下的分割与配准。
• 提供一种可扩展的端到端深度学习框架，避免对每对图像进行优化。

提出的方法

• 该框架联合训练两个深度神经网络：一个用于图像配准，另一个用于分割。
• 采用损失的加权和：图像相似性损失（L_i）、配准正则化损失（L_r）、解剖学相似性损失（L_a）和监督分割损失（L_sp）。
• 解剖学相似性损失（L_a）惩罚配准后移动图像的分割结果与目标图像分割结果之间的不一致性，以确保解剖结构的一致性。
• 通过U-Net结构的网络预测位移场来执行配准，该位移场用于将移动图像形变到目标图像空间。
• 利用未标注图像上的分割预测结果，通过解剖学损失引导配准过程，形成一种数据增强形式。
• 使用Adam优化器并配合学习率调度，交替训练网络，实现无需逐图像能量最小化的联合优化。

实验结果

研究问题

• RQ1 当仅有少量人工分割图像可用时，联合训练分割与配准网络是否能提升性能？
• RQ2 在配准图像间引入分割一致性是否能提升配准精度？
• RQ3 分割网络是否能从基于配准的未标注图像数据增强中获益？
• RQ4 该框架在仅有一张人工标注图像的单样本学习场景下效果如何？

主要发现

• 在膝关节MRI数据上，DeepAtlas在单样本设置下相比无监督配准则实现了2.7的Dice分数绝对提升。
• 在脑部MRI数据上，当仅有一张图像被人工标注时，该方法的Dice分数相比无监督配准提高了1.8。
• 使用5张人工标注的膝关节图像时，与独立训练的网络相比，软骨结构的分割Dice分数提升了1.4–1.5分。
• 当使用5张和10张标注的膝关节图像时，软骨的配准Dice分数分别提升了5.5和5.2分。
• 在所有设置下，联合训练策略（DA）显著优于独立训练的单网络模型，经FDR校正后p值<0.05。
• 定性结果表明，与基线方法相比，该方法产生了更具解剖一致性的配准与分割结果。