[논문 리뷰] XBound-Former: Toward Cross-scale Boundary Modeling in Transformers

Jiacheng Wang, Fei Chen외 7명|arXiv (Cornell University)|2022. 06. 02.

Cutaneous Melanoma Detection and Management인용 수 5

한 줄 요약

XBound-Former는 암시적, 명시적, 다중 척도 경계 모델링을 세 가지 전용 주의 기반 학습자들을 통해 통합하는 교차 척도 경계 인식 트랜스포머를 제안한다. 이는 특히 경계 관련 지표에서 최신 기술 수준(SOTA) 성능을 달성하며, ISIC-2016&PH2 및 ISIC-2018 데이터셋에서 CNN 및 트랜스포머 기반 모델을 모두 능가한다.

ABSTRACT

Skin lesion segmentation from dermoscopy images is of great significance in the quantitative analysis of skin cancers, which is yet challenging even for dermatologists due to the inherent issues, i.e., considerable size, shape and color variation, and ambiguous boundaries. Recent vision transformers have shown promising performance in handling the variation through global context modeling. Still, they have not thoroughly solved the problem of ambiguous boundaries as they ignore the complementary usage of the boundary knowledge and global contexts. In this paper, we propose a novel cross-scale boundary-aware transformer, extbf{XBound-Former}, to simultaneously address the variation and boundary problems of skin lesion segmentation. XBound-Former is a purely attention-based network and catches boundary knowledge via three specially designed learners. We evaluate the model on two skin lesion datasets, ISIC-2016\&PH$^2$ and ISIC-2018, where our model consistently outperforms other convolution- and transformer-based models, especially on the boundary-wise metrics. We extensively verify the generalization ability of polyp lesion segmentation that has similar characteristics, and our model can also yield significant improvement compared to the latest models.

연구 동기 및 목표

• 피부 내시경 영상에서 모호하고 변동성이 큰 피부 병변 경계 문제를 해결하되, 이는 전문 피부과 의사에게조차도 여전히 어려운 과제이다.
• 기존의 비전 트랜스포머가 다중 척도 방식으로 경계 지식과 전역적 맥락을 효과적으로 활용하지 못하는 한계를 극복한다.
• 편향 없는 컨볼루션 기반 기반 구조를 사용하지 않고도 경계 감독을 통합하는 순수 주의 기반 아키텍처를 개발한다.
• 다양한 척도에서 경계를 명시적으로 모델링하고 교차 척도 가이던스를 가능하게 하여 분할 정확도를 향상시킨다.
• 유사한 경계 모호성 문제를 보이는 다른 의료 영상 분할 과제, 예를 들어 수축성 병변 분할과 같은 분야로의 일반화 능력을 입증한다.

제안 방법

• 고경계 변화 영역에 주의를 집중시켜 국소적 맥락을 향상시키면서도 전역 모델링을 유지하는 암시적 경계 학습자(im-Bound)를 도입한다.
• 다양한 척도에서 경계 키포인트를 탐지하고 임베딩하는 명시적 경계 학습자(ex-Bound)를 제안하여 다중 척도 경계 표현을 제공한다.
• 한 척도의 경계 임베딩을 이용해 다른 척도의 주의를 유도함으로써 교차 척도 경계 정밀화를 가능하게 하는 교차 척도 경계 학습자(X-Bound)를 설계한다.
• 경계 지식을 학습하고 융합하는 이중 브랜치 트랜스포머 아키텍처를 사용하여 공유된 백본 가중치 없이 작업 간 간섭을 줄인다.
• 경계 인식 특징을 동적으로 주의 집중시키기 위해 학습 가능한 쿼리 메커니즘을 활용하여 경계 감독을 직접 주의 메커니즘에 통합한다.
• 표준 분할 손실과 경계 인식 감독의 조합을 최적화하며, 구성 요소의 유효성을 검증하기 위해 추론 분석을 실시한다.

실험 결과

연구 질문

• RQ1 편향 없는 컨볼루션 기반 기반 구조를 사용하지 않고도 순수 주의 기반 트랜스포머가 모호한 경계를 효과적으로 모델링할 수 있는가?
• RQ2 다중 척도 경계 표현 학습이 크기, 형태, 저대비성 등 다양한 특성을 지닌 병변에서 분할 성능 향상에 어떻게 기여하는가?
• RQ3 다른 해상도 특징 간의 교차 척도 가이던스가 경계 정렬 정확도 향상에 얼마나 기여하는가?
• RQ4 제안된 경계 모델링 구성 요소들이 피부 병변 분할을 넘어 유사한 과제를 가진 다른 의료 영상 분할 과제로 일반화 가능한가?
• RQ5 경계 학습자 수를 늘릴 경우 모델 복잡도와 성능 간 최적의 트레이드오프는 무엇인가?

주요 결과

• XBound-Former는 ISIC-2016&PH2 및 ISIC-2018 데이터셋에서 최신 기술 수준 성능을 달성하였으며, DSC 및 HD와 같은 경계 관련 지표에서 뚜렷한 향상을 보였다.
• 추론 분석 결과, im-Bound, ex-Bound, X-Bound의 세 구성 요소 모두 성능 향상에 기여함을 확인하였으며, 특히 X-Bound가 경계 정확도 향상에 가장 큰 기여를 하였다.
• 기존의 CNN 기반 및 트랜스포머 기반 방법을 모두 능가하였으며, 특히 경계가 모호하거나 명확하지 않은 병변에서 두드러진 성능 향상을 보였다.
• 수축성 병변 분할에 대한 일반화 능력이 입증되었으며, 동일한 벤치마크에서 최신 모델보다 뚜렷한 성능 향상을 달성하였다.
• 최적의 구성은 im-Bound 2개와 ex-Bound 2개(N_im=2, N_ex=2)를 사용하는 것으로, 정확도와 추론 효율성 간의 균형을 잘 맞추었다.
• 강력한 성능에도 불구하고 극도로 저대비 병변에서는 여전히 어려움을 겪고 있어, 저수준 특징 추출기와의 융합을 통해 향후 개선 가능성이 있음을 시사한다.