[论文解读] Deep learning-based Real-time Volumetric Imaging for Lung Stereotactic Body Radiation Therapy: A Proof of Concept Study

Yang Lei, Zhen Tian+6 more|arXiv (Cornell University)|May 24, 2020

Advanced Radiotherapy Techniques参考文献 23被引用 7

一句话总结

本研究提出TransNet，一种基于深度学习的生成对抗网络，结合感知损失与对抗损失，从单个2D X射线投影中重建实时3D容积CT图像，用于肺部立体定向放射外科（SBRT）。该方法在四个投影角度下均实现了平均MAE为99.3±14.1 HU、NMAE为0.032±0.007、PSNR为23.4±2.2 dB、SSIM为0.949±0.012，证明了其在机载实时运动管理中的可行性。

ABSTRACT

Due to the inter- and intra- variation of respiratory motion, it is highly desired to provide real-time volumetric images during the treatment delivery of lung stereotactic body radiation therapy (SBRT) for accurate and active motion management. In this proof-of-concept study, we propose a novel generative adversarial network integrated with perceptual supervision to derive instantaneous volumetric images from a single 2D projection. Our proposed network, named TransNet, consists of three modules, i.e., encoding, transformation and decoding modules. Rather than only using image distance loss between the generated 3D images and the ground truth 3D CT images to supervise the network, perceptual loss in feature space is integrated into loss function to force the TransNet to yield accurate lung boundary. Adversarial supervision is also used to improve the realism of generated 3D images. We conducted a simulation study on 20 patient cases, who had received lung SBRT treatments in our institution and undergone 4D-CT simulation, and evaluated the efficacy and consistency of our method for four different projection angles, i.e., 0, 30, 60 and 90 degree. For each 3D CT image set of a breathing phase, we simulated its 2D projections at these angles.Then for each projection angle, a patient's 3D CT images of 9 phases and the corresponding 2D projection data were used for training, with the remaining phase used for testing. The mean absolute error, normalized MAE, peak signal-to-noise ratio and structural similarity index metric achieved by our method are 99.3 HU, 0.032, 23.4 dB and 0.949, respectively. These results demonstrate the feasibility and efficacy of our 2D-to-3D method for lung cancer patients, which provides a potential solution for in-treatment real-time on-board volumetric imaging for accurate dose delivery to ensure the effectiveness of lung SBRT treatment.

研究动机与目标

• 为解决因呼吸运动变异性导致的肺部SBRT过程中实时容积成像的挑战。
• 克服2D投影成像的局限性，后者存在解剖结构重叠和肿瘤可视性差的问题。
• 开发一种基于深度学习的方法，利用机载成像系统从单个2D投影重建3D容积图像。
• 通过条件生成对抗网络框架中的感知损失与对抗损失，提升图像保真度与肺部边界准确性。
• 在仿真研究中验证该方法在多个投影角度（0°、30°、60°、90°）下的鲁棒性与一致性。

提出的方法

• 所提出的方法TransNet是一种具有三个模块（编码、变换、解码）的条件生成对抗网络（cGAN）。
• 通过使用预训练的SegNet将感知损失集成到损失函数中，以监督特征表示，从而提升肺部边界准确性。
• 利用对抗损失提升生成3D图像的真实感，使其与真实3D CT容积区分开来。
• 网络在20例患者的4D-CT数据上进行训练，每例患者使用9个呼吸相位进行训练，第10个相位用于测试。
• 通过射线追踪从3D CT图像中生成四个角度（0°、30°、60°、90°）的模拟2D投影，用于训练。
• 该方法利用患者特异性的4D-CT数据与模拟投影，训练出能够从单个2D投影重建3D解剖结构的模型。

实验结果

研究问题

• RQ1 能否利用单个2D X射线投影重建出用于实时肺部SBRT引导的高精度3D容积CT图像？
• RQ2 感知损失监督在从2D投影生成3D图像时，如何提升肺部边界重建的准确性？
• RQ3 该方法在不同投影角度（0°、30°、60°、90°）下的性能表现如何？
• RQ4 与标准GAN相比，对抗损失的引入如何提升生成3D图像的真实感？
• RQ5 该方法在呼吸运动变化与不同患者解剖结构下是否能保持鲁棒性与一致性？

主要发现

• 所提出方法在所有投影角度下实现了平均绝对误差（MAE）为99.3±14.1 Hounsfield单位（HU）。
• 归一化MAE（NMAE）为0.032±0.007，表明其在HU范围内的重建精度较高。
• 信噪比峰值（PSNR）达到23.4±2.2 dB，反映出良好的图像质量与抗噪能力。
• 结构相似性指数（SSIM）为0.949±0.012，表明生成图像与真实3D图像之间具有高度的结构保真度。
• 前后方向投影（0°）表现最佳，其平均NMAE为0.029，平均SSIM为0.956，表明该角度下图像质量最优。
• 感知损失显著提升了对肺部边界细节的敏感度，经视觉与定量比较验证。