[논문 리뷰] Instance-aware Self-supervised Learning for Nuclei Segmentation

Xinpeng Xie, Jiawei Chen외 4명|arXiv (Cornell University)|2020. 07. 22.

AI in cancer detection참고 문헌 17인용 수 4

한 줄 요약

이 논문은 레이블이 없는 조직병리학적 영상에서 핵의 크기와 수량에 대한 암시적 사전 지식을 익히기 위해 척도별 트리플릿 학습과 카운트 랭킹을 활용하는 인스턴스 인식 자기지도 학습 프레임워크를 제안한다. 이 방법은 자기지도 학습을 위한 ResUNet-101을 사용하여 MoNuSeg 데이터셋에서 평균 AJI 70.63%의 새로운 최고 성능을 달성하였으며, 사전 학습 없이 학습하는 것과 이전의 자기지도 학습 방법들보다 뚜렷하게 뛰어나다.

ABSTRACT

Due to the wide existence and large morphological variances of nuclei, accurate nuclei instance segmentation is still one of the most challenging tasks in computational pathology. The annotating of nuclei instances, requiring experienced pathologists to manually draw the contours, is extremely laborious and expensive, which often results in the deficiency of annotated data. The deep learning based segmentation approaches, which highly rely on the quantity of training data, are difficult to fully demonstrate their capacity in this area. In this paper, we propose a novel self-supervised learning framework to deeply exploit the capacity of widely-used convolutional neural networks (CNNs) on the nuclei instance segmentation task. The proposed approach involves two sub-tasks (i.e., scale-wise triplet learning and count ranking), which enable neural networks to implicitly leverage the prior-knowledge of nuclei size and quantity, and accordingly mine the instance-aware feature representations from the raw data. Experimental results on the publicly available MoNuSeg dataset show that the proposed self-supervised learning approach can remarkably boost the segmentation accuracy of nuclei instance---a new state-of-the-art average Aggregated Jaccard Index (AJI) of 70.63%, is achieved by our self-supervised ResUNet-101. To our best knowledge, this is the first work focusing on the self-supervised learning for instance segmentation.

연구 동기 및 목표

• 깊은 학습 성능을 저해하는 핵 인스턴스 분할을 위한 제한된 레이블이 부여된 조직병리학적 데이터 문제를 해결한다.
• 비용이 많이 드는 수동 레이블링에 대한 의존도를 줄이기 위해, 레이블이 없는 데이터에서 작동하는 자기지도 사전 학습 프레임워크를 개발하여 데이터 부족 문제를 해결한다.
• 원시적이고 레이블이 없는 데이터에서 프록시 작업을 통해 컨volutional 신경망이 인스턴스 인식 특징—특히 핵의 크기와 수량—을 암시적으로 학습할 수 있도록 한다.
• 사전 학습 단계에서 인스턴스 수준의 레이블에 의존하지 않고도 핵 인스턴스 분할에서 최고 성능을 달성한다.
• MoNuSeg 및 CPM 데이터셋에서의 검증을 통해 일반화 능력과 강건성을 입증하며, 강력한 베이스라인에 비해 일관된 향상을 보인다.

제안 방법

• 핵의 크기와 수량에 대한 사전 지식를 포함하는 프록시 작업을 설계하며, 이는 두 가지 하위 작업인 척도별 트리플릿 학습과 카운트 랭킹으로 구성된다.
• 조직병리학적 영상의 패치에서 트리플릿 샘플(기준, 양성, 음성)을 생성하며, 양성은 기준과 유사한 핵 크기를, 음성은 더 큰 핵 크기를 가진다.
• 유사한 크기의 핵에 대해 특징 임bedding이 가까워지도록 하고, 다른 크기의 핵에 대해서는 멀어지도록 하기 위해 척도별 트리플릿 손실($\mathcal{L}_{ST}$)을 정의한다.
• 이미지 패치 간의 핵 밀도 기반 순서를 정렬함으로써 상대적인 핵 수 차이를 학습하도록 카운트 랭킹 손실($\mathcal{L}_{CR}$)을 도입한다.
• MoNuSeg 데이터셋을 사용하여 인스턴스 수준의 레이블 없이도 ResUNet-101 백본을 병합된 프록시 작업으로 사전 학습한다.
• 소량의 레이블 데이터만을 사용하여 최종 핵 인스턴스 분할 작업으로 사전 학습 모델을 미세 조정한다.

실험 결과

연구 질문

• RQ1 핵의 크기와 수량 사전 지식를 포함하는 자기지도 프록시 작업이 레이블이 제한된 상황에서 인스턴스 분할 성능을 향상시킬 수 있는가?
• RQ2 제안된 인스턴스 인식 자기지도 학습 프레임워크는 표준 자기지도 방법들(예: Jigsaw, RotNet, ColorMe)과 비교해 핵 인스턴스 분할에서 어떻게 성능을 내는가?
• RQ3 제안된 프록시 작업에 대한 사전 학습이 핵 분할에서 대규모 레이블 데이터의 필요성을 얼마나 줄일 수 있는가?
• RQ4 척도별 트리플릿 손실과 카운트 랭킹 손실을 함께 최적화하면, 각각을 별도로 사용할 때보다 더 나은 특징 표현을 얻을 수 있는가?
• RQ5 제안된 방법은 MoNuSeg를 초월한 다른 조직병리학적 데이터셋에도 일반화 가능한가?

주요 결과

• 제안된 자기지도 사전 학습 전략은 MoNuSeg 2018 테스트 세트에서 평균 집합 자카르 지수(AJI) 70.63%를 달성하여, 이전 최고 성능 기법(CIA-Net)보다 1.56%p 높은 새로운 최고 성능을 기록하였다.
• 사전 학습 없이 학습하는 것에 비해 AJI가 +5.34% 향상되어, 레이블 없이도 인스턴스 인식 특징을 학습하는 효과성을 입증하였다.
• 제거 분석 결과, 척도별 트리플릿 학습과 카운트 랭킹 손실을 모두 사용할 경우 사전 학습 없이 학습하는 것에 비해 가장 높은 성능 향상(+5.34%)을 기록하였으며, 개별 손실은 각각 +4.35%와 +4.80%의 기여를 하였다.
• CPM 데이터셋에서 자기지도 ResUNet-101은 평균 Dice 스코어 86.36%를 기록하였으며, 이는 CPM 2018 경쟁 대회 우승자(87.00%)와 유사한 성능이었다.
• 학습 레이블의 10%만으로도 미세 조정한 결과 AJI가 +11.43% 향상되어 데이터 효율성을 입증하였다.
• CIA-Net과 같은 최고 성능 모델에 비해 낮은 계산 복잡도와 적은 파라미터로도 뛰어난 성능을 달성하여, 더 효율적인 모델 설계를 가능하게 하였다.