[논문 리뷰] LCAUnet: A skin lesion segmentation network with enhanced edge and body fusion

Qisen Ma, Keming Mao외 3명|arXiv (Cornell University)|2023. 05. 01.

Cutaneous Melanoma Detection and ManagementMedicine인용 수 3

한 줄 요약

LCAUnet은 이중 브랜치 인코더, 국소 교차 attention 융합 모듈(LCAF), 사전 지침 기반 다중 척도 융합(PGMF)을 통해 가장자리 및 본문 특징을 융합하는 U자형 세분화 네트워크를 제안한다. 이는 ISIC 2017, ISIC 2018, PH2 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 기준 모델 대비 IoU에서 최대 8.87% 향상되고 Dice에서 최대 7.03% 향상된다.

ABSTRACT

Accurate segmentation of skin lesions in dermatoscopic images is crucial for the early diagnosis of skin cancer and improving the survival rate of patients. However, it is still a challenging task due to the irregularity of lesion areas, the fuzziness of boundaries, and other complex interference factors. In this paper, a novel LCAUnet is proposed to improve the ability of complementary representation with fusion of edge and body features, which are often paid little attentions in traditional methods. First, two separate branches are set for edge and body segmentation with CNNs and Transformer based architecture respectively. Then, LCAF module is utilized to fuse feature maps of edge and body of the same level by local cross-attention operation in encoder stage. Furthermore, PGMF module is embedded for feature integration with prior guided multi-scale adaption. Comprehensive experiments on public available dataset ISIC 2017, ISIC 2018, and PH2 demonstrate that LCAUnet outperforms most state-of-the-art methods. The ablation studies also verify the effectiveness of the proposed fusion techniques.

연구 동기 및 목표

• 피부 내시경 영상에서 불규칙한 형태와 흐린 경계를 가진 병변의 정확도가 떨어지는 문제를 해결한다.
• 기존 방법이 주로 병변 본문에 집중하면서 가장자리 특징을 간과하는 한계를 극복한다.
• 모발, 尺도, 착색 등의 영상 간섭 상황에서도 세분화의 강건성을 향상시킨다.
• 주의 메커니즘과 지침 기반 융합 기법을 활용해 다중 척도 및 상보적인 가장자리-본문 특징을 융합하여 특징 표현을 향상시킨다.
• 더 뛰어난 세분화 성능를 얻기 위해 CNN과 Transformer를 모두 활용하는 통합 딥 러닝 프레임워크를 개발한다.

제안 방법

• 이중 브랜치 인코더를 활용: CNN 기반 브랜치는 가장자리 특징 추출, Transformer 기반 브랜치는 본문 특징 학습.
• 국소 교차 attention 융합(LCAF) 모듈을 도입하여 같은 인코더 수준에서 가장자리 및 본문 특징을 국소 교차 attention을 통해 융합.
• 디코더에서 사전 지침 기반 다중 척도 융합(PGMF) 모듈을 적용하여 사전 지식을 활용해 인접한 척도 간 특징을 통합.
• 스킵 연결을 통해 연결 및 원소별 연산을 사용하여 공간적 세부 정보를 유지하고 특징 전파를 향상시킴.
• 이진 교차 엔트로피 손실 및 Dice 손실을 사용해 네트워크를 엔드 투 엔드로 훈련하여 세분화 정확도 최적화.
• Grad-CAM 시각화를 활용해 가장자리 인코더가 병변 경계에 집중하고 본문 인코더가 전반적인 병변 의미를 포착함을 검증.

실험 결과

연구 질문

• RQ1 단일 브랜치 모델 대비 가장자리 및 본문 특징을 별도로 처리하는 이중 브랜치 아키텍처가 피부 병변 세분화 정확도 향상에 기여하는가?
• RQ2 국소 교차 attention 융합(LCAF)이 상보적인 가장자리 및 본문 특징을 융합하여 더 나은 경계 정의에 얼마나 효과적인가?
• RQ3 사전 지침 기반 다중 척도 융합(PGMF)이 디코더에서 척도 간 특징 융합에 얼마나 기여하는가?
• RQ4 통합 네트워크 아키텍처에서 CNN과 Transformer 아키텍처의 조합이 도전적인 피부 내시경 영상에서 더 나은 일반화 및 강건성을 이끌어내는가?
• RQ5 가장자리 및 본문 특징은 세분화 성능에 어떻게 다른 기여를 하는가? 그리고 이들의 융합은 개별 모odal 표현의 한계를 보완할 수 있는가?

주요 결과

• LCAUnet은 ISIC 2017, ISIC 2018, PH2 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, Dice 및 IoU 지표에서 기존 SOTA 방법을 능가한다.
• 제거 실험 결과, EdgeEncoder만 추가해도 ISIC 2017에서 Dice가 5.27% 향상되고 IoU가 6.74% 향상되어 가장자리 특징의 중요성을 입증한다.
• LCAF 모듈은 EdgeEncoder 전용 기준 모델 대비 Dice 1.02% 향상되고 IoU 0.63% 향상되어 이중 모달 융합의 효과를 확인한다.
• PGMF 모듈은 기준 모델 대비 Dice 2.52% 향상되고 IoU 2.63% 향상되어 다중 척도 특징 융합에서의 기여를 보여준다.
• 전체 LCAUnet 모델은 기준 모델 대비 ISIC 2017에서 IoU가 8.87% 높고 Dice가 7.03% 높으며, ISIC 2018 및 PH2에서도 일관된 향상이 관찰된다.
• Grad-CAM 시각화 결과, 가장자리 인코더는 병변 경계에 집중하고 본문 인코더는 전반적인 병변 의미를 포착함을 확인하여 이중 브랜치 아키텍처의 상보성 설계를 검증한다.