[论文解读] A Cross-Stitch Architecture for Joint Registration and Segmentation in Adaptive Radiotherapy.

Laurens Beljaards, Mohamed S. Elmahdy+2 more|arXiv (Cornell University)|Jan 25, 2020

Advanced Radiotherapy Techniques被引用 1

一句话总结

该论文提出了一种交叉 stitch 神经网络架构，联合学习自适应放疗中的图像配准与器官分割，实现任务间可学习的特征交换。在验证集上，其平均表面距离达到 1.06±0.3 mm（前列腺）和 1.76±0.8 mm（直肠），优于单任务和基于损失函数的联合网络，且推理速度快，适用于临床日常重勾画流程。

ABSTRACT

Recently, joint registration and segmentation has been formulated in a deep learning setting, by the definition of joint loss functions. In this work, we investigate joining these tasks at the architectural level. We propose a registration network that integrates segmentation propagation between images, and a segmentation network to predict the segmentation directly. These networks are connected into a single joint architecture via so-called cross-stitch units, allowing information to be exchanged between the tasks in a learnable manner. The proposed method is evaluated in the context of adaptive image-guided radiotherapy, using daily prostate CT imaging. Two datasets from different institutes and manufacturers were involved in the study. The first dataset was used for training (12 patients) and validation (6 patients), while the second dataset was used as an independent test set (14 patients). In terms of mean surface distance, our approach achieved $1.06 \pm 0.3$ mm, $0.91 \pm 0.4$ mm, $1.27 \pm 0.4$ mm, and $1.76 \pm 0.8$ mm on the validation set and $1.82 \pm 2.4$ mm, $2.45 \pm 2.4$ mm, $2.45 \pm 5.0$ mm, and $2.57 \pm 2.3$ mm on the test set for the prostate, bladder, seminal vesicles, and rectum, respectively. The proposed multi-task network outperformed single-task networks, as well as a network only joined through the loss function, thus demonstrating the capability to leverage the individual strengths of the segmentation and registration tasks. The obtained performance as well as the inference speed make this a promising candidate for daily re-contouring in adaptive radiotherapy, potentially reducing treatment-related side effects and improving quality-of-life after treatment.

研究动机与目标

• 通过深度学习提高自适应放疗中每日器官勾画的准确性和效率。
• 通过在架构层面整合配准与分割网络，解决单独训练或仅通过损失函数联合训练的局限性。
• 通过可学习的、参数化的机制，实现在配准与分割任务之间的双向特征学习。
• 在多机构、多厂商的前列腺 CT 数据集上验证方法的鲁棒性与泛化能力。
• 通过确保推理速度足够快，支持临床应用，满足每日工作流程集成需求。

提出的方法

• 引入交叉 stitch 单元，连接配准网络与分割网络，实现共享特征与任务特异性特征的联合学习。
• 配准网络通过空间变换在图像间传播分割掩码，而分割网络则直接预测器官边界。
• 交叉 stitch 单元通过为每个网络的特征分配不同的融合权重，实现可学习的、自适应的信息流动。
• 联合架构采用包含配准损失与分割损失的联合损失函数进行训练，实现两个任务的同时优化。
• 模型在两个数据集上进行评估：一个用于训练/验证（12 名患者，6 名用于验证），另一个独立测试集（14 名患者）来自不同机构和扫描设备。
• 推理通过单次前向传播完成，支持临床环境中实时应用。

实验结果

研究问题

• RQ1 与基于损失函数的联合训练相比，配准与分割在网络架构层面的集成是否能提升性能？
• RQ2 通过交叉 stitch 单元实现的可学习特征交换是否能提升配准与分割的准确性？
• RQ3 所提出方法在不同成像协议和扫描设备制造商之间是否具备良好的泛化能力？
• RQ4 联合网络是否能实现足够的速度与准确性，以满足自适应放疗中每日临床使用的需要？
• RQ5 架构融合对关键器官（如前列腺、膀胱、精囊腺和直肠）的平均表面距离有何影响？

主要发现

• 所提出的交叉 stitch 架构在验证集上对前列腺的平均表面距离达到 1.06±0.3 mm，优于单任务和基于损失函数的基线模型。
• 对于直肠，该方法在验证集上达到 1.76±0.8 mm，表现出对形状与强度特征差异较大的器官具有鲁棒性。
• 在独立测试集中，前列腺的平均表面距离为 1.82±2.4 mm，直肠为 2.57±2.3 mm，表明其在不同机构与扫描设备间具备出色的泛化能力。
• 联合网络显著优于单任务网络以及仅通过损失函数连接的模型，证实了架构融合的优势。
• 推理速度足够快，可支持临床放疗工作流程中的每日重勾画。
• 结果表明，该方法可通过实现准确、自动的每日勾画，减少治疗相关副作用，提升患者生活质量。