[논문 리뷰] Fuzzy Attention Neural Network to Tackle Discontinuity in Airway Segmentation

Nan Yang, Javier Del Ser외 8명|arXiv (Cornell University)|2022. 09. 05.

COVID-19 diagnosis using AI인용 수 4

한 줄 요약

이 논문은 3D CT 영상에서 소규모이고 끊어진 기도 분지에 대해 기도 분할의 연속성과 완전성을 향상시키기 위해 퍼지 논리와 주의 메커니즘을 통합한 퍼지 주의 신경망(FANN)을 제안한다. 학습 가능한 가우시안 소속 함수와 새로운 재현성 및 누적 맵핑 손실(JCAM 손실)을 도입함으로써 FANN은 기존 최고 성능 모델들을 능가하는 연속성과 완전성을 달성하였으며, 폐암, 코로나19, 폐섬유화를 포함한 다양한 데이터셋에서 검증되었다.

ABSTRACT

Airway segmentation is crucial for the examination, diagnosis, and prognosis of lung diseases, while its manual delineation is unduly burdensome. To alleviate this time-consuming and potentially subjective manual procedure, researchers have proposed methods to automatically segment airways from computerized tomography (CT) images. However, some small-sized airway branches (e.g., bronchus and terminal bronchioles) significantly aggravate the difficulty of automatic segmentation by machine learning models. In particular, the variance of voxel values and the severe data imbalance in airway branches make the computational module prone to discontinuous and false-negative predictions. especially for cohorts with different lung diseases. Attention mechanism has shown the capacity to segment complex structures, while fuzzy logic can reduce the uncertainty in feature representations. Therefore, the integration of deep attention networks and fuzzy theory, given by the fuzzy attention layer, should be an escalated solution for better generalization and robustness. This paper presents an efficient method for airway segmentation, comprising a novel fuzzy attention neural network and a comprehensive loss function to enhance the spatial continuity of airway segmentation. The deep fuzzy set is formulated by a set of voxels in the feature map and a learnable Gaussian membership function. Different from the existing attention mechanism, the proposed channel-specific fuzzy attention addresses the issue of heterogeneous features in different channels. Furthermore, a novel evaluation metric is proposed to assess both the continuity and completeness of airway structures. The efficiency, generalization and robustness of the proposed method have been proved by training on normal lung disease while testing on datasets of lung cancer, COVID-19 and pulmonary fibrosis.

연구 동기 및 목표

• 데이터 불균형과 강도 균일성으로 인해 소규모 기도 분지(예: 말초 기관지올)의 분할이 끊어지고 불완전해지는 문제를 해결한다.
• IoU와 Dice와 같은 전통적 평가 지표가 분할의 연속성과 완전성을 제대로 반영하지 못하므로 이를 보완한다.
• 섬유화, 코로나19, 암을 포함한 다양한 폐질환 표현형에 걸쳐 모델의 일반화 능력과 강인성을 향상시킨다.
• 이질적인 특징 채널에서의 불확실성을 모델링하고 표현 학습을 향상시키기 위해 특징 채널별 퍼지 주의 메커니즘을 개발한다.
• 분할의 연속성과 완전성을 동시에 평가할 수 있도록, 기존의 오버랩 지표를 넘어서는 새로운 평가 지표인 CCF-score를 도입한다.

제안 방법

• 특징 맵 내의 볼렉스 집합과 학습 가능한 가우시안 소속 함수를 사용한 깊이 퍼지 세트 공식을 제안하여 특징 표현의 불확실성을 모델링한다.
• 다양한 채널 간의 특징을 적응적으로 가중하는 채널별 퍼지 주의 레이어를 설계하여 이질적인 특징 분포에 대한 강인성을 향상시킨다.
• 분할된 기도의 공간적 연속성과 구조적 완전성을 최적화하기 위해 새로운 재현성 및 누적 맵핑 손실(JCAM 손실) 함수를 도입한다.
• 기존의 오버랩 지표를 넘어서 분할 품질을 평가하기 위해 새로운 평가 지표인 CCF-score(연속성 및 완전성 점수)를 개발한다.
• 전경-배경 불균형을 균형 있게 조절하고 구조적 정밀도를 향상시키기 위해 교차 엔트로피, Dice, 그리고 제안된 JCAM 손실을 조합한 복합 손실을 사용해 FANN 모델을 훈련시킨다.
• 데이터 증강 및 클래스 균형 샘플링 전략을 적용하여 기도 분할 작업에서의 데이터 불균형 문제를 완화한다.

실험 결과

연구 질문

• RQ1 퍼지 주의 메커니즘이 소규모이고 끊어진 기도 분지에 대해 3D 기도 분할에서 딥 네트워크의 강인성과 일반화 능력을 향상시킬 수 있는가?
• RQ2 퍼지 논리와 주의 메커니즘의 통합이 높은 불확실성과 데이터 불균형 조건에서 더 나은 특징 표현 학습을 이끌 수 있는가?
• RQ3 제안된 JCAM 손실 함수가 기존 손실 함수에 비해 기도 분할의 공간적 연속성을 효과적으로 향상시킬 수 있는가?
• RQ4 새로운 CCF-score 지표가 IoU와 Dice와 같은 전통적 지표보다 분할의 연속성과 완전성을 더 잘 평가하는 데 효과적인가?
• RQ5 FANN 모델은 기도 구조가 크게 변화한 섬유화, 코로나19, 폐암 등 다양한 폐질환 표현형에서 어떻게 일반화되는가?

주요 결과

• FANN은 코로나19 데이터셋에서 최고의 CCF-score(0.9215)를 기록했으며, 섬유화 데이터셋에서는 0.7687을 기록하여 기준 모델들보다 분할의 연속성과 완전성 평가에서 뚜렷한 승리를 거두었다.
• 섬유화 데이터셋에서 FANN은 말초 기관지올(TB) 탐지율이 47.15%를 기록했으며, 이는 다른 데이터셋에 비해 낮은 성능이지만, 꿀벌집 형성과 같은 복잡한 섬유화 폐 구조에서의 향상 여지를 시사한다.
• BAS 데이터셋에서 대규모 기도(LB) 탐지율은 99.38%였고, 코로나19 데이터셋에선 100%를 기록하여 대규모 기도에서 뛰어난 성능을 입증했다.
• FANN은 코로나19 데이터셋에서 평균 누락 비율(AMR)을 2.36%로 낮추었고, 섬유화 데이터셋에선 10.29%로 유지하여 경쟁 모델들보다 누출이 적고 더 완전한 분할을 구현했다.
• 절단 실험 결과, 퍼지 주의와 JCAM 손실의 조합이 가장 뛰어난 성능을 보였으며, BL+fuzzy+JCAM 구성에서 코로나19 데이터셋에서 DLR 93.81%와 DBR 91.87%를 기록하여 다른 구성보다 뛰어난 성능을 보였다.
• 제안된 CCF-score는 모델 선택을 효과적으로 이끌었으며, CCF-score가 가장 높은 모델이 모든 데이터셋에서 가장 일관되고 임상적으로 타당한 분할 결과를 보였다.