[논문 리뷰] A sparse annotation strategy based on attention-guided active learning for 3D medical image segmentation

Zhenxi Zhang, Jie Li외 3명|arXiv (Cornell University)|2019. 06. 18.

Medical Image Segmentation Techniques참고 문헌 14인용 수 17

한 줄 요약

이 논문은 3D 의료 영상 분할에서 희소 레이블링을 위한 어텐션 유도 활성 학습 전략을 제안한다. 어텐션 기반 메커니즘을 활용해 슬라이스의 불확실성을 추정하고, 선택적 레이블링을 이끌어낸다. dHCP 데이터셋에서 뇌 구조 추출 작업에서는 전체 레이블링의 15–20%만으로도 완전 레이블링과 유사한 분할 성능를 달성하였으며, 조직 분할 작업에서는 30–35%의 레이블링으로도 동일한 성능를 확보하였다.

ABSTRACT

3D image segmentation is one of the most important and ubiquitous problems in medical image processing. It provides detailed quantitative analysis for accurate disease diagnosis, abnormal detection, and classification. Currently deep learning algorithms are widely used in medical image segmentation, most algorithms trained models with full annotated datasets. However, obtaining medical image datasets is very difficult and expensive, and full annotation of 3D medical image is a monotonous and time-consuming work. Partially labelling informative slices in 3D images will be a great relief of manual annotation. Sample selection strategies based on active learning have been proposed in the field of 2D image, but few strategies focus on 3D images. In this paper, we propose a sparse annotation strategy based on attention-guided active learning for 3D medical image segmentation. Attention mechanism is used to improve segmentation accuracy and estimate the segmentation accuracy of each slice. The comparative experiments with three different strategies using datasets from the developing human connectome project (dHCP) show that, our strategy only needs 15% to 20% annotated slices in brain extraction task and 30% to 35% annotated slices in tissue segmentation task to achieve comparative results as full annotation.

연구 동기 및 목표

• 임상 및 연구 환경에서 3D 의료 영상의 완전한 레이블링에 따른 높은 비용과 시간 부담을 해결하기 위해.
• 수동 레이블링을 최소화하면서도 분할 성능를 유지하는 희소 레이블링 전략을 개발하기 위해.
• 2D에서 3D 의료 영상 분할로의 활성 학습 확장에 있어 어텐션 기반 메커니즘을 활용해 불확실성 추정을 향상시키기 위해.
• 제안된 방법의 효과성을 dHCP 프로젝트에서 확보한 실제 3D 뇌 영상 데이터셋을 기반으로 평가하기 위해.

제안 방법

• 3D U-Net 아키텍처에 어텐션 메커니즘을 통합하여 특징 표현과 분할 정확도를 향상시킨다.
• 어텐션 맵을 사용해 각 슬라이스의 불확실성을 정량화하고, 레이블링에 가장 정보가 많은 슬라이스를 식별한다.
• 각 활성 학습 반복에서 가장 높은 불확실성(낮은 어텐션 신뢰도)을 가진 슬라이스를 선택하는 쿼리 전략을 적용한다.
• 어텐션 기반 불확실성 기준에 따라 선택된 증가하는 레이블링 슬라이스 세트를 사용해 분할 모델을 점진적으로 학습시킨다.
• 희소 레이블링 프로토콜을 적용하여, 전체 슬라이스 중 소수(15–35%)만을 레이블링하고, 나머지는 모델이 예측하도록 한다.
• dHCP 데이터셋을 사용해 두 가지 3D 분할 작업(뇌 구조 추출 및 조직 분할)에서 방법을 검증한다.

실험 결과

연구 질문

• RQ1 어텐션 기반 불확실성 추정은 3D 의료 영상 분할에서 활성 학습 성능를 향상시키는 데 기여하는가?
• RQ2 희소 레이블링을 통해 얼마나 많은 레이블링 노력의 감소가 가능하며, 분할 정확도를 유지할 수 있는가?
• RQ3 3D 환경에서 제안된 방법은 무작위 및 불확실성 기반 샘플링 전략과 비교해 어떻게 성능를 발휘하는가?
• RQ4 어떤 정도로 어텐션 기반 메커니즘이 3D 의료 영상에서 모델의 일반화 능력과 불확실성 추정을 향상시킬 수 있는가?

주요 결과

• 제안된 방법은 뇌 구조 추출 작업에서 전체 슬라이스의 15–20%만 레이블링하여도 완전 레이블링과 유사한 분할 성능를 달성하였다.
• 조직 분할 작업에서는 단지 30–35%의 슬라이스 레이블링으로도 동일한 결과를 도출하였다.
• 어텐션 기반 활성 학습 전략은 두 분할 작업 모두에서 기준 무작위 및 불확실성 기반 샘플링 방법을 능가하는 성능를 보였다.
• 어텐션 맵은 높은 불확실성 영역을 효과적으로 강조하여 더 정보가 많은 슬라이스 선택을 가능하게 하였다.
• 희소 레이블링 조건에서도 모델은 높은 분할 정확도를 유지하였으며, 제한된 지도 신호 조건에서도 강건함을 입증하였다.