[论文解读] MESAHA-Net: Multi-Encoders based Self-Adaptive Hard Attention Network with Maximum Intensity Projections for Lung Nodule Segmentation in CT Scan

Muhammad Usman, Azka Rehman+6 more|arXiv (Cornell University)|Apr 4, 2023

Lung Cancer Diagnosis and TreatmentMedicine被引用 3

一句话总结

该论文提出MESAHA-Net，一种轻量级、端到端的深度学习框架，用于在CT扫描中实现精确且高效的3D肺结节分割。通过融合多编码器输入——原始2D切片图像块、双向最大强度投影（MIP）图像以及自适应感兴趣区域（ROI）掩码——并结合自适应硬注意力机制，MESAHA-Net实现了精确的逐切片2D分割，并聚合为鲁棒的3D体积分割结果，在LIDC-IDRI数据集上的分割精度和推理速度均优于当前最先进方法。

ABSTRACT

Accurate lung nodule segmentation is crucial for early-stage lung cancer diagnosis, as it can substantially enhance patient survival rates. Computed tomography (CT) images are widely employed for early diagnosis in lung nodule analysis. However, the heterogeneity of lung nodules, size diversity, and the complexity of the surrounding environment pose challenges for developing robust nodule segmentation methods. In this study, we propose an efficient end-to-end framework, the multi-encoder-based self-adaptive hard attention network (MESAHA-Net), for precise lung nodule segmentation in CT scans. MESAHA-Net comprises three encoding paths, an attention block, and a decoder block, facilitating the integration of three types of inputs: CT slice patches, forward and backward maximum intensity projection (MIP) images, and region of interest (ROI) masks encompassing the nodule. By employing a novel adaptive hard attention mechanism, MESAHA-Net iteratively performs slice-by-slice 2D segmentation of lung nodules, focusing on the nodule region in each slice to generate 3D volumetric segmentation of lung nodules. The proposed framework has been comprehensively evaluated on the LIDC-IDRI dataset, the largest publicly available dataset for lung nodule segmentation. The results demonstrate that our approach is highly robust for various lung nodule types, outperforming previous state-of-the-art techniques in terms of segmentation accuracy and computational complexity, rendering it suitable for real-time clinical implementation.

研究动机与目标

• 解决由于结节异质性、大小变化及复杂解剖背景导致的CT扫描中肺结节分割挑战。
• 降低3D和体素级分割方法中常见的计算复杂度与重采样引起的误差。
• 开发一种轻量级、端到端的框架，通过迭代的2D逐切片处理实现高效、实时的3D分割。
• 通过MIP和ROI掩码上的自适应注意力机制，整合多尺度空间与上下文信息，提升分割精度。
• 在LIDC-IDRI基准数据集上，于分割性能与推理效率两方面均超越现有最先进方法。

提出的方法

• MESAHA-Net采用三条并行编码路径，分别处理三种不同类型的输入：原始2D CT切片图像块、前向与后向最大强度投影（MIP）图像，以及由硬注意力生成的感兴趣区域（ROI）掩码。
• 模型采用一种新颖的自适应硬注意力机制，动态聚焦网络关注每一切片中的结节区域，减少对背景结构的关注，从而最小化重采样引起的误差。
• 该框架执行迭代的、逐切片的2D分割，通过注意力引导的特征学习，实现在不同切片间对结节边界进行精确估计。
• 共享解码路径融合来自三个编码器的特征，结合局部纹理与全局上下文线索，以优化分割预测结果。
• 该架构设计为轻量化，每一切片仅使用96×96的图像块输入，避免完整切片处理，从而降低计算负载。
• 最终的3D分割通过聚合逐切片预测结果重建，模型采用二元交叉熵损失与Dice损失进行端到端训练。

Figure 1: Multiple visual appearances of the pulmonary nodule are shown. The variations within a nodule can be seen from column (a) to (e), and the inter-nodule difference is presented from rows (i) to (iv).

实验结果

研究问题

• RQ1 融合原始CT图像块、双向MIP与自适应ROI掩码的多编码器架构是否能提升3D肺结节分割的精度？
• RQ2 与3D或完整切片方法相比，自适应硬注意力机制在2D图像块分割中如何减少重采样引起的误差？
• RQ3 所提出的框架在保持多样化结节类型与尺寸下性能的同时，能否将计算成本降至最低？
• RQ4 轻量级、端到端的2D图像块分割网络是否能在精度与推理速度两方面超越现有的3D与2D最先进模型？

主要发现

• MESAHA-Net在LIDC-IDRI数据集上取得了0.867的最高Dice相似系数（DSC），超越了以往最先进方法。
• 该模型每切片推理时间最短，仅为12.3 ms，在计算效率方面显著优于Res-UNet与DEHA-Net。
• 仅含120万个参数，MESAHA-Net是对比方法中最轻量的模型，支持在临床环境中实现实时部署。
• 该框架在所有结节类型与尺寸下均保持一致的性能表现，包括小结节与毛刺状结节，表明其对形态多样性的强鲁棒性。
• 定性结果表明，MESAHA-Net能准确分割多个切片中的结节，并生成与真实值高度匹配的精确3D重建结果。
• 消融实验确认，与基线配置相比，引入双向MIP与自适应ROI掩码显著提升了分割性能。

Figure 2: The overall architecture of proposed multi-encoder self-adaptive hard attention network (MESAHA-Net) for Lung Nodule segmentation is demonstrated.