[논문 리뷰] Mine yOur owN Anatomy: Revisiting Medical Image Segmentation with Extremely Limited Labels

Chenyu You, Weicheng Dai외 7명|arXiv (Cornell University)|2022. 09. 27.

Radiomics and Machine Learning in Medical Imaging인용 수 22

한 줄 요약

MONA는 극히 제한된 라벨 아래에서 다양하지만 일관된 해부학적 특징을 학습하는 반감독 2D 의학 영상 분할 프레임워크로, 여러 벤치마크에서 최첨단 결과를 달성합니다.

ABSTRACT

Recent studies on contrastive learning have achieved remarkable performance solely by leveraging few labels in the context of medical image segmentation. Existing methods mainly focus on instance discrimination and invariant mapping. However, they face three common pitfalls: (1) tailness: medical image data usually follows an implicit long-tail class distribution. Blindly leveraging all pixels in training hence can lead to the data imbalance issues, and cause deteriorated performance; (2) consistency: it remains unclear whether a segmentation model has learned meaningful and yet consistent anatomical features due to the intra-class variations between different anatomical features; and (3) diversity: the intra-slice correlations within the entire dataset have received significantly less attention. This motivates us to seek a principled approach for strategically making use of the dataset itself to discover similar yet distinct samples from different anatomical views. In this paper, we introduce a novel semi-supervised 2D medical image segmentation framework termed Mine yOur owN Anatomy (MONA), and make three contributions. First, prior work argues that every pixel equally matters to the model training; we observe empirically that this alone is unlikely to define meaningful anatomical features, mainly due to lacking the supervision signal. We show two simple solutions towards learning invariances - through the use of stronger data augmentations and nearest neighbors. Second, we construct a set of objectives that encourage the model to be capable of decomposing medical images into a collection of anatomical features in an unsupervised manner. Lastly, we both empirically and theoretically, demonstrate the efficacy of our MONA on three benchmark datasets with different labeled settings, achieving new state-of-the-art under different labeled semi-supervised settings.

연구 동기 및 목표

• 매우 적은 라벨과 풍부한 비라벨 데이터로 인한 의학 영상 분할의 문제를 해결한다.
• 롱테일(class) 분포하에서 의미 있고 일관된 해부학적 특징을 contrastive 학습이 학습할 수 있는지 조사한다.
• tail-aware 샘플링, 해부학적 일관성, 시야 다양성을 촉진하는 프레임워크를 개발하여 분할을 개선한다.

제안 방법

• 두 단계로 MONA를 도입한다: 관계형 반감독 선행 학습과 해부학적 대비 재구성 미세 조정.
• 롱테일 클래스 분포를 다루기 위해 메모리 뱅크와 함께 픽셀 수준 앵커와 클래스 평균 양수를 사용한다( tailness ).
• 이미지 변환에 대한 강건성을 강제하기 위한 등가성(equivariance) 손실을 포함한다(일관성).
• 출력 공간에서 최근접 이웃 손실을 사용하여 과도한 메모리 사용 없이 의미적 다양성을 촉진한다.
• 사전학습 중 글로벌/로컬 인스턴스 구별과 의사 레이블 및 감독 분할 손실을 결합한다.
• 레이블 효율성과 다른 CL 프레임워크와의 보완성을 보이는 이론적 및 실험적 분석을 제공한다.

Figure 1: Examples of three benchmarks ( i.e. , ACDC, LiTS, MMWHS) with long-tail class distributions.

실험 결과

연구 질문

• RQ1 매우 제한된 라벨 하에서 contrastive 학습이 의학 영상 분할에 효과적으로 적용될 수 있는가?
• RQ2 픽셀 수준의 해부학적 인식 프레임워크에서 롱테일 클래스 분포, 클래스 내부 변이, 클래스 간 다양성은 어떻게 다룰 수 있는가?
• RQ3 tailness, consistency, diversity가 데이터셋과 라벨 규칙 전반에서 분할 성능을 함께 향상시키는가?

주요 결과

• MONA는 ACDC, LiTS, MMWHS 벤치마크에서 1%, 5%, 10% 라벨 규정 하에 최첨단 SSL 방법을 능가한다.
• ACDC에서 1% 라벨로 MONA는 82.6% DSC와 2.03 mm ASD를 달성하여 이전 방법에 비해 상당히 향상되었다.
• LiTS에서 1% 라벨로 MONA는 64.1% DSC와 20.9 mm ASD를 달성하고, 다른 라벨 비율에서도 우위를 유지한다.
• MONA는 질적 시각화에서 해부학적 경계가 더 예리하고 경계 부착이 더 우수하게 나타난다.
• 고찰 연구는 tailness, 일관성, 다양성을 결합하는 것이 최상의 성능을 낳으며, 증강 전략이 강건성을 더 높인다.
• 저자들은 라벨 효율적 학습에서 MONA의 효과에 대한 이론적 근거를 제시하고 여러 대비 학습 프레임워크와의 호환성을 보여준다.

Figure 2: Overview of the MONA framework including two stages: (1) relational semi-supervised pre-training, (2) our proposed anatomical contrastive reconstruction fine-tuning. Note that U and L denote unlabeled and labeled data.