[论文解读] Fuzzy Attention Neural Network to Tackle Discontinuity in Airway Segmentation

Nan Yang, Javier Del Ser+8 more|arXiv (Cornell University)|Sep 5, 2022

COVID-19 diagnosis using AI被引用 4

一句话总结

该论文提出了一种模糊注意力神经网络（FANN），通过将模糊逻辑与注意力机制相结合，提升CT扫描中3D气道分割的性能，尤其针对小而断裂的气道分支。通过引入可学习的高斯隶属度函数和一种新型的Jaccard连续性与累积映射（JCAM）损失，FANN在肺部癌症、COVID-19和肺纤维化数据集上均优于当前最先进模型，实现了更优的连续性与完整性。

ABSTRACT

Airway segmentation is crucial for the examination, diagnosis, and prognosis of lung diseases, while its manual delineation is unduly burdensome. To alleviate this time-consuming and potentially subjective manual procedure, researchers have proposed methods to automatically segment airways from computerized tomography (CT) images. However, some small-sized airway branches (e.g., bronchus and terminal bronchioles) significantly aggravate the difficulty of automatic segmentation by machine learning models. In particular, the variance of voxel values and the severe data imbalance in airway branches make the computational module prone to discontinuous and false-negative predictions. especially for cohorts with different lung diseases. Attention mechanism has shown the capacity to segment complex structures, while fuzzy logic can reduce the uncertainty in feature representations. Therefore, the integration of deep attention networks and fuzzy theory, given by the fuzzy attention layer, should be an escalated solution for better generalization and robustness. This paper presents an efficient method for airway segmentation, comprising a novel fuzzy attention neural network and a comprehensive loss function to enhance the spatial continuity of airway segmentation. The deep fuzzy set is formulated by a set of voxels in the feature map and a learnable Gaussian membership function. Different from the existing attention mechanism, the proposed channel-specific fuzzy attention addresses the issue of heterogeneous features in different channels. Furthermore, a novel evaluation metric is proposed to assess both the continuity and completeness of airway structures. The efficiency, generalization and robustness of the proposed method have been proved by training on normal lung disease while testing on datasets of lung cancer, COVID-19 and pulmonary fibrosis.

研究动机与目标

• 解决由于数据不平衡和强度同质性导致的3D CT图像中小型气道分支（如终末细支气管）分割不连续、不完整的问题。
• 克服传统评估指标（如IoU和Dice）无法捕捉分割连续性与完整性的局限。
• 提升模型在包括纤维化、COVID-19和癌症在内的多种肺部疾病表型中的泛化能力与鲁棒性。
• 开发一种新型模糊注意力机制，以建模特征不确定性，并增强异质特征通道中的表征学习能力。
• 提出一种新评估指标CCF-score，通过综合评估气道结构的连续性与完整性，更有效地指导模型选择。

提出的方法

• 提出一种基于特征图中体素集合与可学习高斯隶属度函数的深度模糊集公式，以建模特征表示中的不确定性。
• 设计一种通道特定的模糊注意力层，自适应地对不同通道的特征进行加权，提升对异质特征分布的鲁棒性。
• 引入一种新型的Jaccard连续性与累积映射（JCAM）损失函数，以优化分割气道的空间连续性与结构完整性。
• 开发一种新的评估指标CCF-score（连续性与完整性评分），用于在标准重叠指标之外更全面地评估分割质量。
• 采用结合交叉熵、Dice损失与所提出的JCAM损失的综合损失函数训练FANN模型，以平衡前景-背景类别不平衡并促进结构保真度。
• 应用数据增强与类别平衡采样策略，以缓解气道分割任务中的数据不平衡问题。

实验结果

研究问题

• RQ1 模糊注意力机制是否能提升深度神经网络在3D气道分割中的鲁棒性与泛化能力，特别是在小型且断裂的气道分支中？
• RQ2 将模糊逻辑与注意力机制结合，是否能在高不确定性与数据不平衡条件下实现更优的特征表征学习？
• RQ3 所提出的JCAM损失函数是否能有效提升气道分割的空间连续性，相较于标准损失函数？
• RQ4 所提出的CCF-score指标是否优于传统指标（如IoU与Dice），在识别具备更优分割连续性与完整性的模型方面表现更优？
• RQ5 FANN模型在肺部结构高度改变的多种肺部疾病表型（包括纤维化、COVID-19和肺癌）中是否具备良好的泛化能力？

主要发现

• 在COVID-19数据集中，FANN取得了最高的CCF-score（0.9215），在纤维化数据集中为0.7687，显著优于基线模型，在评估分割连续性与完整性方面表现更优。
• 在纤维化数据集中，FANN对终末细支气管（TB）的检测率达到47.15%，尽管低于其他数据集，但仍表明在具有蜂窝状改变的复杂纤维化肺部结构中仍有改进空间。
• 在BAS数据集中，FANN对大分支（LB）的检测率达到99.38%，在COVID-19数据集中达到100%，表明其在大空气道上的表现强劲。
• 在COVID-19数据集中，FANN将平均缺失率（AMR）降低至2.36%，在纤维化数据集中为10.29%，表明其泄漏更少，完整性更优，优于对比模型。
• 消融实验表明，模糊注意力与JCAM损失的组合效果最佳，BL+fuzzy+JCAM在COVID-19数据集上实现了93.81%的DLR与91.87%的DBR，优于其他配置。
• 所提出的CCF-score有效指导了模型选择，因为CCF-score最高的模型在所有数据集中均表现出最一致且临床可解释的分割结果。