[논문 리뷰] Nuclei Segmentation with Point Annotations from Pathology Images via Self-Supervised Learning and Co-Training

Yi Lin, Zhiyong Qu외 7명|PubMed|2022. 02. 16.

AI in cancer detection참고 문헌 64인용 수 4

한 줄 요약

이 논문은 오직 점(annotation) 레이블만을 사용하여 훈련하는 약한 감독형 세포핵 분할 방법을 제안한다. Voronoi 다이어그램과 k-means 클러스터링을 통해 굵은 픽셀 수준의 레이블을 생성하고, 지수 이동 평균(EMA)을 사용한 의사 레이블링과 공훈련(co-training) 전략을 통해 이를 정제하며, 자기지도형 세포핵 인식 색조화 방법을 통해 특징 학습을 향상시킨다. 이 방법은 MoNuSeg 및 CPM 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하여, 높은 정확도를 유지하면서도 최소한의 레이블링 비용으로 완전히 감독된 방법에 비해 뒤지지 않는다.

ABSTRACT

Nuclei segmentation is a crucial task for whole slide image analysis in digital pathology. Generally, the segmentation performance of fully-supervised learning heavily depends on the amount and quality of the annotated data. However, it is time-consuming and expensive for professional pathologists to provide accurate pixel-level ground truth, while it is much easier to get coarse labels such as point annotations. In this paper, we propose a weakly-supervised learning method for nuclei segmentation that only requires point annotations for training. First, coarse pixel-level labels are derived from the point annotations based on the Voronoi diagram and the k-means clustering method to avoid overfitting. Second, a co-training strategy with an exponential moving average method is designed to refine the incomplete supervision of the coarse labels. Third, a self-supervised visual representation learning method is tailored for nuclei segmentation of pathology images that transforms the hematoxylin component images into the H&E stained images to gain better understanding of the relationship between the nuclei and cytoplasm. We comprehensively evaluate the proposed method using two public datasets. Both visual and quantitative results demonstrate the superiority of our method to the state-of-the-art methods, and its competitive performance compared to the fully-supervised methods. Codes are available at https://github.com/hust-linyi/SC-Net.

연구 동기 및 목표

• 디지털 병리학에서 픽셀 수준의 세포핵 분할에 필요한 높은 레이블링 비용 문제를 해결하기 위해 오직 점(annotation) 레이블만을 활용하고자 한다.
• 비용이 많이 들고 시간이 오래 걸리는 픽셀 수준의 레이블링에 의존도를 줄이면서도 높은 분할 정확도를 유지하고자 한다.
• 희박한 점 레이블에서 유도된 약한 감독 정보를 효과적으로 활용할 수 있는 강력한 종단 간(end-to-end) 프레임워크를 개발하고자 한다.
• H&E 염색 병리 영상에 특화된 자기지도형 표현 학습을 통합하여 일반화 능력과 경계 정확도를 향상시키고자 한다.
• 다단계 스케줄링이나 반복 정제 과정에서 발생하는 오류 누적을 방지하기 위해 효율적이고 확장 가능한 훈련을 가능하게 하고자 한다.

제안 방법

• 점(annotation) 레이블에서 Voronoi 다이어그램과 k-means 클러스터링을 사용하여 공간적 구조를 유지하면서 과적합을 방지하는 굵은 픽셀 수준의 레이블을 생성한다.
• 동일한 두 개의 세분화 네트워크를 사용하는 공훈련 전략을 적용하여 지수 이동 평균(EMA)을 활용한 의사 레이블링을 통해 상호로 예측을 정교화한다.
• H-성분 이미지를 H&E 염색 이미지로 변환하는 자기지도형 학습 모듈을 도입하여 생물학적 전제 조건인 세포핵 염색 특성을 활용해 특징 표현을 향상시킨다.
• 세분화 및 색조화 네트워크를 종단 간(end-to-end) 방식으로 공동 훈련하여 색조화 작업이 세분화 네트워크의 지도 및 검증 역할을 하도록 한다.
• 누적 학습(cumulative learning)을 통해 모든 구성 요소를 단일 스텝 훈련 파이프라인으로 통합하여 수동 스케줄링이 필요 없고 훈련 복잡도를 감소시킨다.
• 자기 탐지(self-deception)를 줄이고 의사 레이블의 강건성을 향상시키기 위해 EMA 기반의 의사 레이블링 메커니즘을 통합한다.

실험 결과

연구 질문

• RQ1 픽셀 수준의 진짜 레이블이 없이도 오직 점(annotation) 레이블만으로 세포핵 분할 성능을 크게 향상시킬 수 있는가?
• RQ2 점(annotation) 레이블에서 유도된 굵은 레이블을 어떻게 효과적으로 정제하여 정확도 저하 및 영역 누락을 줄일 수 있는가?
• RQ3 EMA 기반 의사 레이블링을 통한 공훈련 전략이 기존의 다단계 또는 제약 기반 정제 전략을 능가할 수 있는가?
• RQ4 H&E 염색에 특화된 자기지도형 색조화가 세분화의 일반화 능력을 얼마나 향상시키는가?
• RQ5 제안된 방법이 완전히 감독된 모델과 경쟁 가능한 성능을 달성하면서도 레이블링 노력은 극도로 줄일 수 있는가?

주요 결과

• 제안된 방법은 MoNuSeg 및 CPM 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하여 기존의 약한 감독형 및 완전히 감독된 방법을 모두 능가한다.
• 정량적 결과에서 이 방법은 MoNuSeg에서 딱시 스코어 0.898, CPM에서 0.872를 기록하여 이전의 SOTA 약한 감독형 접근 방식을 초월한다.
• 절단 분석(ablation study) 결과, 공훈련과 EMA, 자기지도형 색조화, 굵은 레이블 생성 등 각 구성 요소가 성능 향상에 기여하고 있음을 확인하였다.
• 점(annotation) 레이블의 변동성에 대해 강건성을 보이며, 반자동 또는 초보자 병리의사의 보조 레이블링에 실용적인 활용 가능성을 시사한다.
• 종단 간, 단일 스텝 훈련 파이프라인은 다단계 스케줄링이 필요 없고 오류 누적 위험을 감소시킨다.
• 시각적 결과에서 이 방법은 특히 겹치거나 붙어 있는 세포핵 영역에서 기존 기준 방법보다 더 정확하고 완전한 핵 경계를 생성하는 것으로 나타났다.