[논문 리뷰] Rethinking Boundary Detection in Deep Learning Models for Medical Image Segmentation

Yi Lin, Dong Zhang외 4명|arXiv (Cornell University)|2023. 05. 01.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 복합 신경망(CNN), 비전 트랜스포머(ViT), 그리고 명시적 경계 검출 연산자를 통합한 새로운 의료 영상 분할 네트워크인 CTO를 제안한다. 이는 분할 정확도와 경계 국소화 성능을 향상시킨다. 이중 스트림 인코더를 사용하여 장거리 의존성을 모델링하는 경량 ViT와 경계 유도 디코더를 결합하고, 자가 생성된 경계 마스크를 명시적 지도로 활용함으로써, 여섯 개인 의료 영상 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하면서도 경쟁 가능한 계산 효율성을 확보한다.

ABSTRACT

Medical image segmentation is a fundamental task in the community of medical image analysis. In this paper, a novel network architecture, referred to as Convolution, Transformer, and Operator (CTO), is proposed. CTO employs a combination of Convolutional Neural Networks (CNNs), Vision Transformer (ViT), and an explicit boundary detection operator to achieve high recognition accuracy while maintaining an optimal balance between accuracy and efficiency. The proposed CTO follows the standard encoder-decoder segmentation paradigm, where the encoder network incorporates a popular CNN backbone for capturing local semantic information, and a lightweight ViT assistant for integrating long-range dependencies. To enhance the learning capacity on boundary, a boundary-guided decoder network is proposed that uses a boundary mask obtained from a dedicated boundary detection operator as explicit supervision to guide the decoding learning process. The performance of the proposed method is evaluated on six challenging medical image segmentation datasets, demonstrating that CTO achieves state-of-the-art accuracy with a competitive model complexity.

연구 동기 및 목표

• CNN이 장거리 의존성을 포착하는 데에 한계가 있고, ViT가 이동 불변성과 국소적 특징 학습을 결여하고 있다는 점을 해결하기 위해.
• 암묵적 학습에만 의존하는 대신 명시적 경계 지도를 도입하여 의료 영상 분할에서 경계 국소화를 향상시키기 위해.
• 기존 최신 기술 수준 아키텍처와 비교해 분할 정확도와 모델 효율성 간의 더 나은 트레이드오프를 달성하기 위해.
• 다양한 의료 영상 작업을 위한 통합된 인코더-디코더 프레임워크에서 CNN, ViT, 경계 연산자를 융합하는 것이 효과적인지 검증하기 위해.

제안 방법

• CTO는 이중 스트림 인코더를 사용한다: 국소적 특징 추출을 위한 표준 CNN 백본과 장거리 공간적 의존성을 모델링하기 위한 경량 비전 트랜스포머(ViT) 브랜치.
• 경계 검출 연산자가 중간 특징 맵에서 고품질의 경계 마스크를 생성하여, 추가 애너테이션 없이도 명시적 지도를 제공한다.
• 경계 유도 디코더는 자가 생성된 경계 마스크를 보조 지도로 사용하여 분할 예측을 정밀하게 보완하며, 특히 윤곽 정확도 향상에 기여한다.
• 모델는 표준 인코더-디코더 아키텍처를 따르며, 스킵 연결을 통해 공간적 세부 정보를 유지하고 특징 융합을 향상시킨다.
• 경계 강화 모듈(BEM)과 경계 주입 모듈(BIM)을 도입하여 경계 지도를 디코딩 과정에 효과적으로 통합한다.
• 절단 분석을 통해 각 구성 요소의 점진적 기여도를 확인하였으며, 경계 주입 메커니즘이 가장 큰 성능 향상을 이끌었다.

Figure 1: Illustration of our CTO, which follows an encoder-decoder paradigm, where the encoder network consists of a mainstream CNNs and an assistant ViT. The decoder network employs a boundary detection operator to guide its learning process.

실험 결과

연구 질문

• RQ1 명시적 경계 지도가 블러거나 비정형 경계를 가진 기관의 경우 분할 정확도를 크게 향상시킬 수 있는가?
• RQ2 이중 스트림 인코더 아키텍처에서 CNN과 ViT를 융합할 경우 의료 영상 분할에서 특징 표현과 모델 효율성에 어떤 영향을 미치는가?
• RQ3 중간 특징에서 자가 생성된 경계 마스크가 추가 애너테이션 없이 성능 향상에 얼마나 기여하는가?
• RQ4 경계 유도 디코더의 통합이 표준 디코더 설계에 비해 더 정밀한 윤곽 추출을 이끌어내는가?
• RQ5 CTO 아키텍처의 전체 성능 향상에서 각 구성 요소(CNN, ViT, 경계 연산자)의 상대적 기여도는 어느 정도인가?

주요 결과

• ISIC 2018에서 CTO는 91.21%의 Dice와 84.45%의 IoU를 기록하여 이전 SOTA보다 각각 2.89점과 2.94점 높게 기록했다.
• CoNIC에서 CTO는 79.77%의 Dice, 66.42%의 IoU, 65.58%의 PQ를 기록하여 비교된 모든 방법을 뛰어넘었다.
• LiTS17에서 CTO는 91.50%의 Dice와 84.59%의 IoU를 기록하여 SOTA보다 각각 0.26점과 0.45점 높았다.
• BTCV에서 CTO는 81.10%의 Dice와 18.75%의 HD를 기록하여 두 번째로 좋은 방법보다 Dice에서 1.98점 높았다.
• 절단 분석 결과, 경계 주입 모듈(BIM)만 추가해도 Dice가 2.89점 향상되었으며, 이는 BIM의 핵심적 역할을 입증한다.
• 정성적 결과는 CTO가 특히 CoNIC 및 ISIC 데이터셋에서 블러진 또는 작은 세포핵의 경우 더 정확하고 부드러운 객체 윤곽을 생성함을 확인했다.

Figure 2: Visualizations on CoNIC [ 17 ] (top two rows) and LiTS17 [ 4 ] (buttom two rows). The red boxes highlight the main difference of each method.