[논문 리뷰] Enhancing Nucleus Segmentation with HARU-Net: A Hybrid Attention Based Residual U-Blocks Network

Junzhou Chen, Qian Huang외 3명|arXiv (Cornell University)|2023. 08. 07.

AI in cancer detection인용 수 5

한 줄 요약

이 논문은 이중 브랜치, 하이브리드 어텐션 기반 잔차 U-블록 네트워크인 HARU-Net을 제안하며, 조직병리학적 영상에서의 인스턴스 세그멘테이션 성능 향상을 위해 핵의 의미 세그멘테이션과 윤곽 맵을 동시에 예측한다. 새로운 후처리 전략을 통해 의미 특징과 윤곽 특징을 융합하고, 컨텍스트 융합 블록을 통합함으로써 HARU-Net은 BNS, MoNuSeg, CoNSeg, CPM-17 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 이전 방법 대비 더 높은 Dice 및 PQ 점수 향상을 보였다.

ABSTRACT

Nucleus image segmentation is a crucial step in the analysis, pathological diagnosis, and classification, which heavily relies on the quality of nucleus segmentation. However, the complexity of issues such as variations in nucleus size, blurred nucleus contours, uneven staining, cell clustering, and overlapping cells poses significant challenges. Current methods for nucleus segmentation primarily rely on nuclear morphology or contour-based approaches. Nuclear morphology-based methods exhibit limited generalization ability and struggle to effectively predict irregular-shaped nuclei, while contour-based extraction methods face challenges in accurately segmenting overlapping nuclei. To address the aforementioned issues, we propose a dual-branch network using hybrid attention based residual U-blocks for nucleus instance segmentation. The network simultaneously predicts target information and target contours. Additionally, we introduce a post-processing method that combines the target information and target contours to distinguish overlapping nuclei and generate an instance segmentation image. Within the network, we propose a context fusion block (CF-block) that effectively extracts and merges contextual information from the network. Extensive quantitative evaluations are conducted to assess the performance of our method. Experimental results demonstrate the superior performance of the proposed method compared to state-of-the-art approaches on the BNS, MoNuSeg, CoNSeg, and CPM-17 datasets.

연구 동기 및 목표

• H&E 염색 슬라이드에서의 겹치는 세포, 흐린 윤곽선, 염색 변동성 등의 문제를 해결하기 위해.
• 이중 브랜치 네트워크 아키텍처를 사용해 핵의 의미와 윤곽을 동시에 예측함으로써 인스턴스 세그멘테이션 정확도를 향상시키기 위해.
• 다중 척도의 맥락 정보를 통합하는 컨텍스트 융합 블록을 통해 특징 표현을 향상시키기 위해.
• 의미 및 윤곽 예측을 모두 활용해 겹치는 핵을 해결하는 후처리 방법을 개발하기 위해.
• 여러 기준 데이터셋에서 최신 기술 수준의 방법들에 비해 뛰어난 성능을 보여주기 위해.

제안 방법

• HARU-Net은 계층적 특징을 캡처하고 기울기 흐름을 향상시키기 위해 이중 브랜치 인코더-디코더 구조와 잔차 U-블록을 활용한다.
• 다양한 레이어에 채널 및 공간 어텐션을 조합한 하이브리드 어텐션 메커니즘이 적용되어 관련 특징을 강조하고 노이즈를 억제한다.
• 네트워크 내에서 장거리 맥락 표현을 풍부하게 하기 위해 컨텍스트 인코딩 레이어가 도입된다.
• 다양한 스케일의 특징을 가중치를 두고 융합하는 컨텍스트 융합(CF)-블록이 설계되어 단순 연결보다 더 나은 특징 통합을 위해 간단한 연결을 대체한다.
• 네트워크는 두 가지 출력을 동시에 예측한다: 전경 마스크(의미 세그멘테이션)와 핵 윤곽 맵(경계 예측).
• 후처리 전략은 핵 중심에서부터 영역을 채우는 방식으로 예측된 의미 및 윤곽 맵을 융합하여 겹치는 핵을 효과적으로 분리한다.

실험 결과

연구 질문

• RQ1 의미 및 윤곽 특징을 모두 예측하는 이중 브랜치 네트워크가 단일 작업 모델 대비 핵 인스턴스 세그멘테이션 정확도를 향상시킬 수 있는가?
• RQ2 하이브리드 어텐션 메커니즘의 통합이 핵 세그멘테이션 작업에서 특징 표현을 어떻게 향상시키는가?
• RQ3 컨텍스트 융합 블록이 복잡한 조직병리학적 영상에서 특징 학습 및 세그멘테이션 성능을 얼마나 향상시키는가?
• RQ4 의미 및 윤곽 정보를 통합한 후처리 방법이 겹치는 핵을 해결하는 데 얼마나 효과적인가?
• RQ5 보조 윤곽 예측 작업이 특징 전이를 통해 주 의미 세그멘테이션 작업의 성능을 향상시키는가?

주요 결과

• HARU-Net은 BNS, MoNuSeg, CoNSeg, CPM-17의 네 개의 공개 데이터셋에서 최신 기술 수준 성능을 달성하였으며, Dice 및 PQ 점수에서 뚜렷한 향상을 보였다.
• 제거 실험에서 컨텍스트 융합 블록은 단순 연결 대비 각각 Dice, PQ, F1 점수를 0.7%, 0.6%, 0.9% 향상시켰다.
• 의미 및 윤곽 예측을 통합한 후처리 전략은 PQ 점수를 5.8% 향상시켜 인스턴스 수준 정확도에서의 핵심적 역할을 입증했다.
• 모든 레벨(가장 깊은 레이어 제외)에 하이브리드 어텐션 메커니즘을 포함시켜 Dice 및 PQ 점수를 각각 0.6% 향상시켰다.
• 보조 윤곽 작업이 주 의미 세그멘테이션 작업을 향상시켜 이중 브랜치 간 효과적인 지식 전이가 이루어졌음을 시사했다.
• 경계가 더 흐린 CoNSep 데이터셋에서는 후처리 단계에서 침식을 적용함으로써 정확도 향상이 이루어졌으며, 이는 데이터셋 특화된 적응 필요성을 강조한다.