[论文解读] Male pelvic synthetic CT generation from T1-weighted MRI using 2D and 3D convolutional neural networks

Jie Fu, Yingli Yang+4 more|arXiv (Cornell University)|Feb 28, 2018

Advanced X-ray and CT Imaging参考文献 50被引用 44

一句话总结

该论文开发并比较 2D 和 3D CNN 模型，从 T1 加权 MR 图像生成骨盆合成 CT（sCT），在 20 名男性患者中使用体素级和骨骼特定指标评估准确性。

ABSTRACT

To achieve magnetic resonance (MR)-only radiotherapy, a method needs to be employed to estimate a synthetic CT (sCT) for generating electron density maps and patient positioning reference images. We investigated 2D and 3D convolutional neural network (CNN) methods to generate a male pelvic sCT using a T1-weighted MR image. A retrospective study was performed using CTs and T1-weighted MR images of 20 prostate cancer patients. The proposed 2D CNN model, which contained 27 convolutional layers, was modified from the SegNet for better performance. 3D version of the CNN model was also developed. Both CNN models were trained from scratch to map intensities of T1-weighted MR images to CT Hounsfield Unit (HU) values. Each sCT was generated in a five-fold-cross-validation framework and compared with the corresponding CT using voxel-wise mean absolute error (MAE), and dice similarity coefficient (DSC), recall, and precision for bony structures. Wilcoxon signed-rank tests were performed to evaluate the differences between the both models. The MAE averaged across all patients were 40.5 $\pm$ 5.4 HU and 37.6 $\pm$ 5.1 HU for the 2D and 3D CNN models, respectively. The DSC, recall, and precision of the bony structures were 0.81 $\pm$ 0.04, 0.85 $\pm$ 0.04, and 0.77 $\pm$ 0.09 for the 2D CNN model, and 0.82 $\pm$ 0.04, 0.84 $\pm$ 0.04, and 0.80 $\pm$ 0.08 for the 3D CNN model, respectively. P values of the Wilcoxon signed-rank tests were less than 0.05 except for recall, which was 0.6. The 2D and 3D CNN models generated accurate pelvic sCTs for the 20 patients using T1-weighted MR images. The evaluation metrics and statistical tests indicated that the 3D model was able to generate sCTs with better MAE, bone DSC, and bone precision. The accuracy of the dose calculation and patient positioning using generated sCTs will be tested and compared for the two models in the future.

研究动机与目标

• 通过从 MR 图像生成 sCT 来实现 MRI-only 放射治疗的可行性，而无需 CT 或手工骨骼分割或额外序列。
• 比较 2D 和 3D CNN 架构用于从 T1 加权 MRI 生成骨盆 sCT。
• 使用体素级 MAE 在全身、软组织和骨骼区域评估 sCT 的准确性，以及骨骼特定的 DSC、召回率和精确度。
• 评估在骨盆中实现 MRI-only 流程的训练效率及实际可行性。

提出的方法

• 从头开始训练 2D 和 3D CNN，改自 SegNet，将 T1 加权 MRI 强度映射到 CT Hounsfield 单位。
• 在 2D 模型中使用实例归一化、残差快捷连接和分数步卷积；将同一结构扩展到 3D。
• 对预处理进行 N4 偏差校正和直方图标准化；将 CT 形变配准到 MRI，创建用于监督的形变 CT。
• 进行五折交叉验证；使用 Adam 优化，损失函数为在身体掩模内计算的平均绝对误差。
• 对数据进行即时数据增强（平移/旋转）以提高泛化能力。
• 通过全身、软组织和骨骼区域的 MAE 以及骨骼的 DSC/召回率/精确度进行评估。
• 使用 Wilcoxon 符号秩检验比较 2D 和 3D 模型。

实验结果

研究问题

• RQ1 是否可以在不进行 CT 或手工骨骼分割的前提下，从标准的 T1 加权 MR 图像中准确生成骨盆合成 CT？
• RQ2 2D 和 3D CNN 架构在骨盆 sCT 生成的准确性是否存在差异，尤其在骨骼和软组织区域？
• RQ3 使用这些 CNN 方法时，MR-only 放射治疗计划在可接受的 MAE 和骨骼分界指标下是否可行？

主要发现

• 两种模型（2D 和 3D）在 20 名患者中均能从 T1 加权 MR 图像生成准确的骨盆 sCT。
• 3D 模型在 MAE 上表现更好（37.6 ± 5.1 HU 相比 2D 的 40.5 ± 5.4 HU），并在骨骼 DSC/精确度上略高。
• 全身范围内的最大 MAE 为 56.5 HU（2D）和 53.1 HU（3D）。
• 骨骼区域的 DSC 为 0.81 ± 0.04（2D）和 0.82 ± 0.04（3D）；召回率为 0.85 ± 0.04（2D）对 0.84 ± 0.04（3D）；精确度为 0.77 ± 0.09（2D）对 0.80 ± 0.08（3D）。
• Wilcoxon 检验显示 MAE 和骨骼指标存在显著差异（p < 0.05），除召回率外（p = 0.60）。
• 每个 sCT 体积的生成时间约为 5.5 秒，两个模型相同。