[论文解读] Deep Dose Plugin Towards Real-time Monte Carlo Dose Calculation Through a Deep Learning based Denoising Algorithm

Ti Bai, Biling Wang+2 more|arXiv (Cornell University)|Nov 30, 2020

Advanced Radiotherapy Techniques参考文献 60被引用 6

一句话总结

本文提出一种用于蒙特卡罗（MC）放疗剂量计算的实时深度学习去噪器，通过体素解扰/重排和分解的3D卷积操作加速推理。该方法实现亚秒级推理（39 ms），并使整个MC剂量计算在约0.15秒内完成，从而实现放疗中实时在线自适应治疗的可行性。

ABSTRACT

Monte Carlo (MC) simulation is considered the gold standard method for radiotherapy dose calculation. However, achieving high precision requires a large number of simulation histories, which is time consuming. The use of computer graphics processing units (GPUs) has greatly accelerated MC simulation and allows dose calculation within a few minutes for a typical radiotherapy treatment plan. However, some clinical applications demand real time efficiency for MC dose calculation. To tackle this problem, we have developed a real time, deep learning based dose denoiser that can be plugged into a current GPU based MC dose engine to enable real time MC dose calculation. We used two different acceleration strategies to achieve this goal: 1) we applied voxel unshuffle and voxel shuffle operators to decrease the input and output sizes without any information loss, and 2) we decoupled the 3D volumetric convolution into a 2D axial convolution and a 1D slice convolution. In addition, we used a weakly supervised learning framework to train the network, which greatly reduces the size of the required training dataset and thus enables fast fine tuning based adaptation of the trained model to different radiation beams. Experimental results show that the proposed denoiser can run in as little as 39 ms, which is around 11.6 times faster than the baseline model. As a result, the whole MC dose calculation pipeline can be finished within 0.15 seconds, including both GPU MC dose calculation and deep learning based denoising, achieving the real time efficiency needed for some radiotherapy applications, such as online adaptive radiotherapy.

研究动机与目标

• 解决临床放疗中对实时蒙特卡罗（MC）剂量计算的需求，特别是在线自适应放疗的应用。
• 克服MC模拟的计算瓶颈，尽管经过GPU加速，其速度仍不足以满足实时应用。
• 开发一种基于深度学习的去噪器，实现在保持高去噪精度的同时实现亚秒级推理。
• 通过弱监督学习和微调，实现模型对新放疗射野和医疗机构的快速适应。
• 通过最小化对大规模成对干净/噪声MC数据集的需求，降低训练的数据和计算负担。

提出的方法

• 引入体素解扰和体素重排操作，在不损失信息的前提下减少输入和输出张量的维度，提升计算效率。
• 将3D体积分卷积分解为2D轴向卷积和1D切片卷积，以减少浮点运算量（FLOPs）和模型复杂度。
• 实施一种弱监督的噪声到噪声训练方案，仅使用噪声MC模拟作为输入，无需干净标签，从而降低数据需求。
• 设计一种改进的UNet架构，通过在轴向和切片方向共享特征图，结合实例归一化和特征金字塔实现多尺度特征融合。
• 采用堆叠的2D和1D卷积头，随后通过3D体素重排将低维特征表示恢复为最终的3D剂量图。
• 优化网络深度和宽度：主干网络使用10个非线性层（标准UNet为6层），每级特征图尺寸减半，通道数加倍。

实验结果

研究问题

• RQ1 能否设计一种深度学习去噪器，实现在3D蒙特卡罗剂量图上实现亚秒级推理？
• RQ2 如何对3D卷积操作进行分解和重构，以在不牺牲去噪性能的前提下减少FLOPs？
• RQ3 弱监督学习能否消除训练去噪器时对大规模成对干净/噪声MC数据集的需求？
• RQ4 通过体素解扰/重排和多方向卷积分解，模型效率可提升到何种程度？
• RQ5 训练好的去噪器能否在仅需少量额外数据的情况下，高效地微调以适应新的射野类型和临床部位？

主要发现

• 所提出的去噪器在单张GPU上实现39 ms的推理时间，相比基线模型提速11.6倍。
• 完整的MC剂量计算流程（包括基于GPU的MC模拟和深度学习去噪）耗时约0.15秒。
• 通过利用多通道输入，模型架构将下采样层数量从标准UNet的六层减少至五层，提升了效率。
• 弱监督训练方案消除了对昂贵高历史MC模拟作为真实标签的需求，显著降低了数据需求。
• 该模型在多种不同的射野配置下均保持高去噪性能，并可仅用少量目标域数据快速微调。
• 表2定量验证了体素解扰和3D卷积分解带来的FLOP降低，显示其在效率上显著优于标准UNet。