[논문 리뷰] DuAT: Dual-Aggregation Transformer Network for Medical Image Segmentation

Feilong Tang, Qiming Huang외 4명|arXiv (Cornell University)|2022. 12. 21.

AI in cancer detection인용 수 13

한 줄 요약

이 논문은 전역적 맥락 모델링과 미세한 경계 유지 기능을 향상시키기 위해 글로벌-로컬 공간 집합(GSA) 모듈과 선택적 경계 집합(SBA) 모듈을 통합한 DuAT라는 이중 집합 트랜스포머 네트워크를 제안한다. 이 모델은 여섯 개인 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 특히 소형 객체 분할과 모호한 경계 탐지에서 뛰어난 성능을 보이며, ETIS에서 mDice 점수 0.876, ISIC-2018에서 0.822까지 기록한다.

ABSTRACT

Transformer-based models have been widely demonstrated to be successful in computer vision tasks by modelling long-range dependencies and capturing global representations. However, they are often dominated by features of large patterns leading to the loss of local details (e.g., boundaries and small objects), which are critical in medical image segmentation. To alleviate this problem, we propose a Dual-Aggregation Transformer Network called DuAT, which is characterized by two innovative designs, namely, the Global-to-Local Spatial Aggregation (GLSA) and Selective Boundary Aggregation (SBA) modules. The GLSA has the ability to aggregate and represent both global and local spatial features, which are beneficial for locating large and small objects, respectively. The SBA module is used to aggregate the boundary characteristic from low-level features and semantic information from high-level features for better preserving boundary details and locating the re-calibration objects. Extensive experiments in six benchmark datasets demonstrate that our proposed model outperforms state-of-the-art methods in the segmentation of skin lesion images, and polyps in colonoscopy images. In addition, our approach is more robust than existing methods in various challenging situations such as small object segmentation and ambiguous object boundaries.

연구 동기 및 목표

• 트랜스포머 기반 의료 영상 분할에서의 국소 세부 정보 열화 문제, 특히 소형 객체 및 모호한 경계에 대해 해결하기 위해.
• 시각 트랜스포머에서 전역 맥락 모델링과 국소 특징 유지 간의 균형을 향상시키기 위해.
• 저수준 경계 특징과 고수준 의미적 표현을 선택적으로 융합하여 경계 정확도를 향상시키기 위해.
• 다양한 의료 영상 작업 및 데이터셋에 대해 잘 일반화되는 경량이고 강력한 아키텍처를 개발하기 위해.

제안 방법

• 글로벌-로컬 공간 집합(GSA) 모듈은 인코더에서 유도된 다중 스케일 표현을 통합하여 전역 및 국소 공간적 특징을 동시에 캡처함으로써, 대규모 및 소규모 객체의 정위치를 향상시킨다.
• 선택적 경계 집합(SBA) 모듈은 저수준 레이어의 경계 인식 특징과 고수준 레이어의 의미적 특징을 선택적으로 융합하여 객체 경계를 정밀하게 보정한다.
• GSA는 이중 브랜치 메커니즘을 사용하여 전역 및 국소 공간적 의존성을 추출하고 집계함으로써, 전역 특징이 국소 세부 정보를 지배하는 것을 완화한다.
• SBA는 학습 가능한 어텐션 게이트를 활용하여 경계 및 의미 특징의 가중치를 동적으로 조정함으로써 노이즈에 과적합되지 않으면서 정확한 경계 보정을 보장한다.
• 모델는 피라미드 트랜스포머 백본(PVTv2) 기반으로 구축되며, SBA 및 GSA 모듈이 디코더의 여러 단계에 삽입되어 특징 보정을 향상시킨다.
• 전체 네트워크는 표준 분할 손실(예: 교차 엔트로피 및 Dice 손실)을 사용하여 엔드 투 엔드로 훈련되며, 분할 정확도와 경계 충실도를 동시에 최적화한다.

실험 결과

연구 질문

• RQ1 이중 집합 메커니즘이 의료 영상 분할에서 전역 맥락과 국소 세부 정보의 표현을 향상시키는 데 효과적인가?
• RQ2 이미지 잡음과 저대비 조건에서 선택적 경계 집합이 미세한 경계를 얼마나 효과적으로 유지하는가?
• RQ3 GSA를 통해 전역 및 국소 공간적 특징을 통합함으로써 표준 트랜스포머보다 소형 객체 탐지 성능이 향상되는가?
• RQ4 소형 객체 분할 및 모호한 경계 조건과 같은 도전적인 상황에서 제안된 모델의 성능은 어떠한가?
• RQ5 GSA 및 SBA 모듈이 전체 성능에 기여하는 상대적 기여도는 무엇이며, 아키텍처 배치 방식은 결과에 어떤 영향을 미치는가?

주요 결과

• ETIS 데이터셋에서 DuAT는 평균 Dice 점수 0.876을 기록하여 베이스라인 대비 2.2%p 향상되었고, SOTA 방법 대비 0.012 높았다.
• ISIC-2018 데이터셋에서 DuAT는 mDice 0.822 및 mIoU 0.746을 달성하였으며, 베이스라인(mDice: 0.759)과 SBA가 제거된 모델(mDice: 0.814)에 비해 뚜렷한 향상을 보였다.
• 제거 실험 결과 SBA 모듈을 제거할 경우 ETIS에서 mDice가 0.008 감소하여, 경계 보정에서 SBA의 핵심적 역할을 확인하였다.
• GSA 모듈은 베이스라인 대비 ISIC-2018에서 mDice를 2.2%p 향상시키고 mIoU를 6.7%p 향상시켜 소형 객체 정위치에서의 효과성을 입증하였다.
• SBA + GSA 구성은 모든 데이터셋에서 최고의 성능을 기록하였으며, ISIC-2018에서 MAE 0.013을 기록하여 고정밀도 분할을 가능하게 하였다.
• 시각적 분석 결과 GSA는 소형 객체 탐지 능력을 향상시키고, SBA는 특히 모호한 영역에서 경계 선명도를 향상시킴을 확인하였다.