[论文解读] Efficient 3D Fully Convolutional Networks for Pulmonary Lobe Segmentation in CT Images

Hoileong Lee, Tahreema Matin+2 more|arXiv (Cornell University)|Sep 16, 2019

Lung Cancer Diagnosis and Treatment参考文献 46被引用 13

一句话总结

本文提出 PLS-Net，一种用于 CT 扫描中自动肺叶分割的高效 3D 全卷积网络。通过整合 3D 深度可分离卷积、空洞残差密集块以及输入增强机制，PLS-Net 在显著降低计算成本和内存使用的同时，实现了最先进的分割精度，使标准 GPU 上的高分辨率推理成为可能，单次扫描平均推理时间为 0.8 秒。

ABSTRACT

The human lung is a complex respiratory organ, consisting of five distinct anatomic compartments called lobes. Accurate and automatic segmentation of these pulmonary lobes from computed tomography (CT) images is of clinical importance for lung disease assessment and treatment planning. However, this task is challenging due to ambiguous lobar boundaries, anatomical variations and pathological deformations. In this paper, we propose a high-resolution and efficient 3D fully convolutional network to automatically segment the lobes. We refer to the network as Pulmonary Lobe Segmentation Network (PLS-Net), which is designed to efficiently exploit 3D spatial and contextual information from high-resolution volumetric CT images for effective volume-to-volume learning and inference. The PLS-Net is based on an asymmetric encoder-decoder architecture with three novel components: (i) 3D depthwise separable convolutions to improve the network efficiency by factorising each regular 3D convolution into two simpler operations; (ii) dilated residual dense blocks to efficiently expand the receptive field of the network and aggregate multi-scale contextual information for segmentation; and (iii) input reinforcement at each downsampled resolution to compensate for the loss of spatial information due to convolutional and downsampling operations. We evaluated the proposed PLS-Net on a multi-institutional dataset that consists of 210 CT images acquired from patients with a wide range of lung abnormalities. Experimental results show that our PLS-Net achieves state-of-the-art performance with better computational efficiency. Further experiments confirm the effectiveness of each novel component of the PLS-Net.

研究动机与目标

• 开发一种高效、高分辨率的 3D 全卷积网络，用于 CT 图像中自动肺叶分割。
• 解决肺叶分割中的挑战，包括模糊裂隙、病理性变形以及解剖变异。
• 在不牺牲分割精度的前提下提升计算效率，实现在标准 GPU 上的部署。
• 整合多尺度上下文特征，并补偿下采样过程中的空间信息损失。
• 在具有不同病理状况和成像协议的多样化临床 CT 扫描中验证模型的鲁棒性。

提出的方法

• PLS-Net 采用非对称编码器-解码器架构，以平衡特征提取与空间分辨率。
• 使用 3D 深度可分离卷积将标准 3D 卷积分解，通过分解空间与通道操作，降低参数量和 FLOPs。
• 采用空洞残差密集块（DRDBs）扩展网络感受野，并聚合多尺度上下文特征，以提升分割性能。
• 在每个下采样分辨率处应用输入增强，以减轻池化与卷积操作导致的信息损失。
• 采用混合精度推理，进一步降低内存消耗并提升推理速度。
• 网络在包含 210 例 CT 扫描的多机构数据集上进行训练与评估，涵盖多种病理状况与采集协议。

实验结果

研究问题

• RQ1 3D 全卷积网络是否能在保持高计算效率的同时实现肺叶分割的最先进性能？
• RQ2 3D 深度可分离卷积在不降低分割精度的前提下，是否能有效减少模型参数量与推理时间？
• RQ3 空洞残差密集块在体素肺部 CT 数据中，对特征表示与分割精度的提升程度如何？
• RQ4 在多尺度下应用输入增强，如何通过补偿空间信息损失来提升分割性能？
• RQ5 所提出的网络是否能在具有严重病理状况与不完整裂隙的多样化临床 CT 扫描中实现稳健泛化？

主要发现

• PLS-Net 在包含 210 例 CT 扫描的多中心数据集上实现了最先进的性能，优于现有方法的分割精度。
• 使用 3D 深度可分离卷积显著降低了模型参数量与 FLOPs，且精度损失可忽略不计，实现了高效推理。
• 空洞残差密集块通过捕捉 3D 体数据中多尺度上下文信息，显著提升了特征学习能力。
• 在每个分辨率层级应用输入增强，有效缓解了空间信息损失，有助于提升边界检测性能。
• 在 GTX 1080 Ti GPU 上，PLS-Net 对每个 3D CT 体数据的平均推理时间仅为 0.8 秒，证明了其具备实时推理可行性。
• 特征图可视化结果表明，PLS-Net 能够学习识别关键解剖结构，如裂隙、气管支、血管与肋骨，支持其具备解剖推理能力。