[论文解读] Computed Tomography Image Enhancement using 3D Convolutional Neural Network

Li Meng, Shiwen Shen+3 more|arXiv (Cornell University)|Jul 18, 2018

Advanced Image Processing Techniques参考文献 6被引用 5

一句话总结

该论文提出一种三维卷积神经网络（3DECNN），通过利用切片间的体素相关性，提升低分辨率计算机断层扫描（CT）图像的空间分辨率。在LIDC数据集的20,672张CT切片上进行训练，该方法在峰值信噪比（PSNR）（29.3087 dB）和结构相似性（SSIM）（0.8529）方面相比最先进方法取得显著提升，优于双三次插值、FSRCNN和ESPCN，p值均小于2.2e-16。

ABSTRACT

Computed tomography (CT) is increasingly being used for cancer screening, such as early detection of lung cancer. However, CT studies have varying pixel spacing due to differences in acquisition parameters. Thick slice CTs have lower resolution, hindering tasks such as nodule characterization during computer-aided detection due to partial volume effect. In this study, we propose a novel 3D enhancement convolutional neural network (3DECNN) to improve the spatial resolution of CT studies that were acquired using lower resolution/slice thicknesses to higher resolutions. Using a subset of the LIDC dataset consisting of 20,672 CT slices from 100 scans, we simulated lower resolution/thick section scans then attempted to reconstruct the original images using our 3DECNN network. A significant improvement in PSNR (29.3087dB vs. 28.8769dB, p-value < 2.2e-16) and SSIM (0.8529dB vs. 0.8449dB, p-value < 2.2e-16) compared to other state-of-art deep learning methods is observed.

研究动机与目标

• 为解决厚层CT扫描中空间分辨率低的问题，该问题会损害肺癌筛查中结节的检测能力。
• 克服2D超分辨率方法忽略体素CT数据中切片间相关性的局限性。
• 开发一种3D深度学习框架，通过保留细微结构并减少伪影来提升图像质量。
• 通过从低分辨率采集中恢复高分辨率细节，提升计算机辅助检测（CAD）系统的表现。

提出的方法

• 3DECNN架构在所有三个维度（层厚、高度、宽度）上应用3D卷积核，以利用CT数据中的体素相关性。
• 网络采用三个堆叠的3D卷积层，卷积核大小为3，随后通过一个3D反卷积层上采样特征图。
• 最终的2D卷积层将3D输出转换为2D超分辨率切片，以便与基于2D的方法直接比较。
• 模型通过端到端训练，使用损失函数最小化预测结果与真实高分辨率图像之间的差异。
• 通过消融实验优化了网络超参数，如滤波器数量（64, 64, 32）、卷积核大小（3）和层数（3）。
• 最终模型采用5个残差块，包含3D卷积，最终反卷积层使用32个滤波器，学习率为10⁻³，在Tesla K40 GPU上进行训练。

实验结果

研究问题

• RQ1 3D卷积神经网络能否通过利用切片间信息，有效提升低剂量或厚层CT扫描的分辨率？
• RQ2 在CT图像的PSNR和SSIM指标上，3D特征学习与FSRCNN和ESPCN等2D超分辨率方法相比表现如何？
• RQ3 3D CT图像超分辨率的网络深度、滤波器数量和卷积核大小的最佳配置是什么？
• RQ4 所提出的3DECNN方法是否比传统插值方法或2D CNN更好地保留了肺结节等诊断相关结构？

主要发现

• 3DECNN在测试集上实现了29.3087 dB的平均PSNR，显著高于双三次插值方法（28.8769 dB），p值小于2.2e-16。
• 该方法实现了0.8529的平均SSIM，优于双三次插值（0.8449）及其他最先进方法，p值均小于2.2e-16。
• 与FSRCNN-s相比，PSNR提升0.8357 dB，SSIM提升0.0136，p值均小于2.2e-16。
• 消融实验表明，卷积核大小为3时性能最佳，而更大的卷积核（5、9）因引入更多噪声导致性能下降。
• 最优配置采用3个残差块，滤波器数量分别为64、64和32，反卷积层使用32个滤波器。
• 主观评估确认，3DECNN生成的图像边缘更清晰，结节结构保留更佳，优于其他方法。