[论文解读] Effects of Image Size on Deep Learning

Olivier Rukundo|arXiv (Cornell University)|Jan 27, 2021

Medical Imaging Techniques and Applications被引用 5

一句话总结

本研究探讨了图像尺寸对心脏磁共振成像（MRI）分割中深度学习性能的影响，提出了一种新颖的插值与掩码优化策略，以优化晚期钆增强（LGE）MRI图像的分辨率。结果表明，与较小图像相比，更大图像（较人工测量的心肌梗死定量结果接近55.5%）显著提升了自动化心肌梗死测量的准确性（较小图像为22.2%）。

ABSTRACT

In this work, the best size for late gadolinium enhancement (LGE) magnetic resonance imaging (MRI) images in the training dataset was determined to optimize deep learning training outcomes. Non-extra pixel and extra pixel interpolation algorithms were used to determine the new size of the LGE-MRI images. A novel strategy was introduced to handle interpolation masks and remove extra class labels in interpolated ground truth (GT) segmentation masks. The expectation maximization, weighted intensity, a priori information (EWA) algorithm was used for quantification of myocardial infarction (MI) in automatically segmented LGE-MRI images. Arbitrary threshold, comparison of the sums, and sums of differences are methods used to estimate the relationship between semi-automatic or manual and fully automated quantification of myocardial infarction (MI) results. The relationship between semi-automatic and fully automated quantification of MI results was found to be closer in the case of bigger LGE MRI images (55.5% closer to manual results) than in the case of smaller LGE MRI images (22.2% closer to manual results).

研究动机与目标

• 确定在晚期钆增强（LGE）MRI分割中训练深度学习模型的最佳图像尺寸。
• 解决图像插值中的挑战，包括在真实分割掩码中出现的掩码失真和虚假类别标签。
• 通过自动化深度学习流程提高心肌梗死（MI）定量的准确性。
• 评估在不同图像分辨率下，半自动/人工与全自动MI定量结果之间的关系。
• 开发一种稳健的框架，用于处理医学图像分析中的插值图像和真实掩码。

提出的方法

• 应用非外推像素和外推像素插值算法，将LGE-MRI图像缩放至更大尺寸。
• 提出一种新颖策略，用于处理插值掩码，并消除真实分割掩码中的虚假类别标签。
• 采用期望最大化、加权强度与先验信息（EWA）算法，对分割后的LGE-MRI图像进行MI定量。
• 通过比较总和与总和差异，评估半自动/人工与全自动MI定量结果之间的对齐程度。
• 在多种图像尺寸下评估性能，以确定深度学习训练的最佳分辨率。
• 采用多阶段流程，结合图像预处理、深度学习分割和定量MI分析。

实验结果

研究问题

• RQ1 增大图像尺寸如何影响LGE-MRI中自动化心肌梗死定量的准确性？
• RQ2 插值对深度学习模型中分割掩码质量和类别标签完整性有何影响？
• RQ3 在不同图像分辨率下，全自动MI定量性能与半自动及人工方法相比如何？
• RQ4 新颖的掩码优化策略是否能有效减少图像放大过程中引入的伪影和虚假标签？
• RQ5 训练深度学习模型以实现与人工MI测量结果最高相似度的最佳图像尺寸是什么？

主要发现

• 与较小图像相比，较大LGE-MRI图像使全自动MI定量结果与人工结果更接近55.5%，而较小图像仅接近22.2%。
• 所提出的插值与掩码优化策略有效减少了虚假类别标签，并在图像放大过程中保持了分割准确性。
• EWA算法在自动分割的LGE-MRI图像中实现了稳健的MI定量，提高了与人工测量结果的一致性。
• 在较大图像中，半自动与全自动MI定量结果之间的关系显著更强，表明模型泛化能力更好。
• 图像尺寸对模型性能有显著影响，较大图像可产生更可靠、更准确的自动化分割结果。
• 使用总和差异与总和比较的方法证实，在更高分辨率下，自动化与人工MI测量结果的相关性更强。