[论文解读] A framework for dynamically training and adapting deep reinforcement learning models to different, low-compute, and continuously changing radiology deployment environments

Guangyao Zheng, Shuhao Lai+3 more|arXiv (Cornell University)|Jun 8, 2023

Radiomics and Machine Learning in Medical Imaging被引用 4

一句话总结

该论文提出了一种基于图像核心集压缩的动态、终身强化学习框架，可在计算资源受限的动态放射科环境中高效部署深度强化学习（DRL）模型。通过应用邻域平均、基于敏感度的采样以及最大熵核心集方法实现27倍的图像压缩，该框架在保持性能的同时显著降低计算负载，在解剖学标志点定位任务中实现了11.97±12.02 mm的平均距离误差，显著优于传统终身学习方法（19.24±50.77 mm）。

ABSTRACT

While Deep Reinforcement Learning has been widely researched in medical imaging, the training and deployment of these models usually require powerful GPUs. Since imaging environments evolve rapidly and can be generated by edge devices, the algorithm is required to continually learn and adapt to changing environments, and adjust to low-compute devices. To this end, we developed three image coreset algorithms to compress and denoise medical images for selective experience replayed-based lifelong reinforcement learning. We implemented neighborhood averaging coreset, neighborhood sensitivity-based sampling coreset, and maximum entropy coreset on full-body DIXON water and DIXON fat MRI images. All three coresets produced 27x compression with excellent performance in localizing five anatomical landmarks: left knee, right trochanter, left kidney, spleen, and lung across both imaging environments. Maximum entropy coreset obtained the best performance of $11.97\pm 12.02$ average distance error, compared to the conventional lifelong learning framework's $19.24\pm 50.77$.

研究动机与目标

• 解决由于高计算需求，大规模DRL模型在计算资源受限的边缘放射科环境中部署的挑战。
• 克服在终身学习场景中模型需适应新成像序列（如DIXON水成像与脂肪成像MRI）而不会丢失先前知识时所面临的灾难性遗忘问题。
• 实现DRL模型在持续变化的医学影像环境中的高效、实时适应，包括多种MRI序列和解剖方位。
• 开发一种可扩展、计算轻量化的框架，支持在无需从头训练的情况下，跨多种成像模态和解剖任务实现持续学习。
• 通过使用压缩且具代表性的图像核心集的有选择性经验回放，提升模型在多样化临床影像条件下的泛化能力与鲁棒性。

提出的方法

• 提出一种基于有选择性经验回放的终身强化学习框架（ICSERIL），利用图像核心集技术在训练前对输入MRI数据进行压缩。
• 实现三种核心集方法：邻域平均法（3D体素立方体的平均值）、邻域敏感度采样法（选择每个立方体的中心体素）、最大熵核心集法（选择3D立方体内熵最高的体素）。
• 在所有三个维度（x, y, z）上应用3倍缩放比例，实现对全身影像DIXON MRI的27倍压缩，同时保留结构和强度信息。
• 使用3D边界框作为智能体的状态表示（15×15×9），以实现对核心集图像的高效推理，并将预测结果缩放回原始分辨率。
• 通过交替序列（先DIXON水成像，后DIXON脂肪成像）训练智能体，使用经验回放缓冲区（ERB）存储状态-动作-奖励-结果状态的元组，以支持持续学习。
• 集成基于熵的采样方法，优先选择图像中信息丰富的区域，提升压缩数据中的特征表示，从而改善定位性能。

Figure 1 : Illustration of catastrophic forgetting. (A) Model 1 is trained on DIXON fat data, and it is able to localize the right trochanter. (B) When Model 1 encounters DIXON water data, it cannot localize the right trochanter. (C) When we finetune Model 1 on DIXON water data to produce Model 2, i

实验结果

研究问题

• RQ1 图像核心集压缩技术是否能有效降低DRL模型在计算资源受限的放射科部署环境中的计算负担，同时不牺牲定位精度？
• RQ2 不同核心集选择策略（平均法、敏感度基采样法、最大熵法）在保留DRL标志点定位关键解剖信息方面的表现如何比较？
• RQ3 所提出的ICSERIL框架在适应新成像序列（如DIXON水成像与脂肪成像MRI）时，能在多大程度上缓解灾难性遗忘问题，尤其在多个解剖标志点上？
• RQ4 在经验回放中使用压缩核心集是否能提升DRL智能体在多样化成像环境和任务中的泛化能力与鲁棒性？
• RQ5 在医学影像的终身DRL中使用基于核心集的压缩时，计算效率（每轮训练时间）与性能（定位误差）之间的权衡如何？

主要发现

• 最大熵核心集方法在标志点定位任务中表现最佳，平均距离误差为11.97±12.02 mm，显著优于传统终身学习基线方法（19.24±50.77 mm）。
• 所有三种核心集方法均实现了全身影像DIXON MRI的27倍压缩，同时在五个解剖标志点（左膝、右大转子、左肾、脾脏和肺）上保持了高精度的定位性能。
• 采用最大熵核心集的ICSERIL框架相比传统终身学习方法，将平均定位误差降低了37.8%，证明了其在计算资源受限条件下的更强鲁棒性与泛化能力。
• 该框架相比传统LL基线，将每轮训练时间减少了2.5倍，表明尽管输入分辨率降低，但计算效率仍得到显著提升。
• 邻域敏感度采样核心集表现出中等性能，平均误差为13.85±14.11 mm，表明代表性采样有效但不如基于熵的选择方法最优。
• 统计分析证实，最大熵核心集方法相比传统方法的性能提升具有显著性（p < 0.05），验证了其在计算资源受限条件下终身学习的有效性。

Figure 2 : Illustration of the two different full-body MRI imaging environments (DIXON water denoted ”W” and DIXON fat denoted ”F”), and the five different anatomical landmark localization tasks (left knee, right trochanter, left kidney, spleen, and lung). The performance of the ICSERIL models with