[논문 리뷰] DA-RefineNet:A Dual Input Whole Slide Image Segmentation Algorithm Based on Attention

Ziqiang Li, Rentuo Tao외 2명|arXiv (Cornell University)|2019. 07. 15.

Advanced Neural Network Applications참고 문헌 26인용 수 4

한 줄 요약

이 논문은 전면 슬라이드 이미지(WSI) 분할을 위한 이중 입력 주의 기반 U-Net 변종인 DA-RefineNet을 제안한다. 이 모델은 국소 패치 수준의 특징과 전경 전체 이미지의 특징을 융합하여 수용 영역을 확장하고 분할 정확도를 향상시킨다. 주의 기반 특징 융합을 활용함으로써 단일 입력 모델에 비해 뛰어난 성능을 달성하며, 특히 잡음 감소와 더불어 맥락 이해도 향상으로 인해 양성 조직 영역과 정상 조직 영역을 더 잘 구분한다.

ABSTRACT

Automatic medical image segmentation has wide applications for disease diagnosing. However, it is much more challenging than natural optical image segmentation due to the high-resolution of medical images and the corresponding huge computation cost. The sliding window is a commonly used technique for whole slide image (WSI) segmentation, however, for these methods based on the sliding window, the main drawback is lacking global contextual information for supervision. In this paper, we propose a dual-inputs attention network (denoted as DA-RefineNet) for WSI segmentation, where both local fine-grained information and global coarse information can be efficiently utilized. Sufficient comparative experiments are conducted to evaluate the effectiveness of the proposed method, the results prove that the proposed method can achieve better performance on WSI segmentation compared to methods relying on single-input.

연구 동기 및 목표

• 전면 슬라이드 이미지(WSI) 분할에서 단일 입력 딥 러닝 모델의 한계를 해결하기 위해 전역 맥락 감독이 부족하다는 점을 다루기.
• 전체 WSI로부터의 굵은 전역 의미 정보를 도입하여 국소 패치 수준의 예측을 안내함으로써 분할 정확도를 향상시키기.
• 전체 WSI를 국소 패치의 해상도에 맞추기 위해 다운샘플링하여 계산 비용을 줄이고 수용 영역을 확장하기.
• 세부적인 국소 특징과 굵은 전역 특징을 효과적으로 융합하기 위한 특징 융합 전략을 평가하고 최적화하기.
• 주의 기반 융합이 간단한 연결 또는 덧셈보다 우수하며, 더 나은 일반화 능력과 더 빠른 수렴 속도를 제공함을 보여주기.

제안 방법

• 한 브랜치는 국소 고해상도 패치를 처리하고 다른 브랜치는 다운샘플된 전체 WSI를 처리하는 이중 입력 인코더-디코더 아키텍처를 제안한다.
• 국소 및 전역 특징 인코더 모두에 ResNet-50 또는 ResNet-101을 백본으로 사용하여 계층적 특징을 추출한다.
• 전역 맥락을 가이드로 삼아 국소 특징을 재가중하고 재구성하는 주의 기반 특징 융합 모듈을 도입한다.
• RefineNet의 연쇄 잔여 풀링 및 스킵 연결을 적용하여 공간적 세부 정보를 유지하고 특징 표현을 향상시킨다.
• ICIAR2018 WSI 분할 데이터셋에서 표준 데이터 증강 기법을 사용하여 교차 엔트로피 손실을 기반으로 모델을 엔드 투 엔드로 훈련시킨다.
• 모델의 내재된 성능 평가의 무결성을 유지하기 위해 후처리 기법을 적용하지 않는다.

실험 결과

연구 질문

• RQ1 전체 이미지 맥락을 통합함으로써 국소 패치 기반 모델의 전면 슬라이드 이미지 분석에서의 분할 정확도 향상이 가능한가?
• RQ2 국소 및 전역 특징을 융합할 때 주의 기반 융합 전략은 단순한 연결 또는 덧셈과 비교해 어떻게 다를까?
• RQ3 제안된 이중 입력 아키텍처는 단일 입력 모델에 비해 양성 및 정상 조직 영역에서 잡음과 오분류를 줄이는가?
• RQ4 주의 기반 융합을 사용할 경우 얕은 네트워크(예: ResNet-50)가 깊은 네트워크(예: ResNet-101)를 능가할 수 있는가? 이는 효율성 향상을 시사하는가?
• RQ5 모델 성능이 특징 융합 전략과 네트워크 깊이의 선택에 얼마나 의존하는가?

주요 결과

• 주의 기반 이중 입력 모델은 ICIAR2018 테스트 세트에서 최고의 Dice 스코어(0.892)를 기록하여 단일 입력 모델과 다중 크기 이중 입력 기반 모델을 크게 앞서 갔다.
• 주의 융합 전략은 ResNet-50에서 ResNet-101보다 더 우수한 성능을 보였으며, 이는 주의 기반 기법이 더 복잡한 특징 추출기 없이도 효과적인 특징 재구성 가능성을 시사한다.
• 시각적 결과에서 제안된 방법은 단일 입력 모델 대비 훨씬 더 깔끔한 분할 마스크를 생성했으며, 정상 영역을 양성으로 잘못 분류한 빨간 잡음이 현저히 감소했다.
• 전역 맥락을 활용함으로써 모델은 모호한 국소 텍스처 차이를 해결하고 정상 및 양성 영역의 오분류를 줄였다.
• 주의 기반 융합 전략은 모델의 강건성과 수렴 속도를 향상시켜 계산 비용을 줄이고도 높은 성능을 달성하도록 했다.
• 제거 분석 결과, 주의 기반 융합 전략은 다양한 백본 아키텍처와 데이터셋 분할에서 연결 및 덧셈 전략을 항상 능가하는 것으로 확인되었다.