[论文解读] Impact of loss functions on the performance of a deep neural network designed to restore low-dose digital mammography

Hongming Shan, Rodrigo de Barros Vimieiro+3 more|arXiv (Cornell University)|Nov 12, 2021

Digital Radiography and Breast Imaging参考文献 60被引用 5

一句话总结

本研究提出一种带有分层跳跃连接的改进ResNet架构，利用深度学习恢复低剂量数字乳腺X光片。评估了多种损失函数，发现感知损失（PL4）在噪声水平上与全剂量图像相当，同时最小化了信号偏差，在保留图像细节和诊断质量方面优于MSE和MAE。

ABSTRACT

Digital mammography is still the most common imaging tool for breast cancer screening. Although the benefits of using digital mammography for cancer screening outweigh the risks associated with the x-ray exposure, the radiation dose must be kept as low as possible while maintaining the diagnostic utility of the generated images, thus minimizing patient risks. Many studies investigated the feasibility of dose reduction by restoring low-dose images using deep neural networks. In these cases, choosing the appropriate training database and loss function is crucial and impacts the quality of the results. In this work, a modification of the ResNet architecture, with hierarchical skip connections, is proposed to restore low-dose digital mammography. We compared the restored images to the standard full-dose images. Moreover, we evaluated the performance of several loss functions for this task. For training purposes, we extracted 256,000 image patches from a dataset of 400 images of retrospective clinical mammography exams, where different dose levels were simulated to generate low and standard-dose pairs. To validate the network in a real scenario, a physical anthropomorphic breast phantom was used to acquire real low-dose and standard full-dose images in a commercially avaliable mammography system, which were then processed through our trained model. An analytical restoration model for low-dose digital mammography, previously presented, was used as a benchmark in this work. Objective assessment was performed through the signal-to-noise ratio (SNR) and mean normalized squared error (MNSE), decomposed into residual noise and bias. Results showed that the perceptual loss function (PL4) is able to achieve virtually the same noise levels of a full-dose acquisition, while resulting in smaller signal bias compared to other loss functions.

研究动机与目标

• 研究不同损失函数对深度神经网络在低剂量数字乳腺X光片重建中性能的影响。
• 开发一种带有分层跳跃连接的改进ResNet架构，以提升低剂量场景下的图像重建质量。
• 使用物理人体乳腺体模在真实临床数据上验证网络，确保其在合成数据之外的泛化能力。
• 将所提出的基于深度学习的重建方法与先前发表的解析模型在图像质量和噪声特性方面进行比较。
• 对低剂量乳腺X光片重建中的损失函数进行全面评估，识别降噪与结构保留之间的最优权衡。

提出的方法

• 设计了一种带有分层跳跃连接的改进ResNet架构，以增强低剂量图像重建中的特征学习和梯度流动。
• 从400例回顾性临床乳腺X光检查中提取了256,000个图像块，以模拟不同剂量水平下的低剂量与全剂量图像对。
• 评估了多种损失函数：均方误差（MSE）、平均绝对误差（MAE）以及基于预训练VGG-16网络特征的感知损失（PL1至PL4）。
• 使用物理人体乳腺体模在商用乳腺X光设备上获取真实低剂量与全剂量图像，以实现对训练模型的真实世界验证。
• 通过信噪比（SNR）和平均归一化均方误差（MNSE）对图像质量进行客观评估，并将误差分解为残余噪声和偏差分量。
• 使用合成数据和真实体模数据对深度学习模型进行训练与验证，以评估其泛化能力和鲁棒性。

实验结果

研究问题

• RQ1 哪种损失函数在低剂量数字乳腺X光片重建中能最好地平衡降噪与结构细节保留？
• RQ2 感知损失函数在诊断图像质量方面与传统损失函数（如MSE和MAE）相比表现如何？
• RQ3 带有分层跳跃连接的改进ResNet架构在多大程度上优于标准架构，提升了重建性能？
• RQ4 在合成低剂量数据上训练的深度学习模型能否泛化到真实临床图像，通过物理体模验证？
• RQ5 基于深度学习的重建方法在SNR和偏差分量方面与现有解析模型相比如何？

主要发现

• 感知损失函数PL4实现的噪声水平几乎与全剂量采集相当，显著优于MSE和MAE在降噪方面的表现。
• 与其它损失函数相比，PL4导致的信号偏差最低，能更有效地保留解剖细节，优于MSE和MAE。
• 感知损失函数（尤其是PL4）在保留图像细节方面优于MSE和MAE，后者引入了过度平滑并造成细微结构的丢失。
• 基于深度学习的方法每幅图像处理时间为9.0秒，与解析模型的16.5秒相当，表明其具有临床可行性。
• 网络在真实体模数据上表现出良好的泛化能力，表明其未对训练数据集过拟合，且对噪声特征变化具有鲁棒性。
• 感知损失与分层跳跃连接的结合实现了卓越的重建质量，在定量和视觉评估中均接近解析模型的性能。