[논문 리뷰] Benchmarking Self-Supervised Learning on Diverse Pathology Datasets

Mingu Kang, Heon Song외 3명|arXiv (Cornell University)|2022. 12. 09.

AI in cancer detection인용 수 6

한 줄 요약

이 논문은 The Cancer Genome Atlas (TCGA)의 대규모 병리학 전체 슬라이드 이미지(WSI)에서 자율학습(self-supervised learning, SSL) 방법 네 가지—MoCo v2, SwAV, Barlow Twins, DINO—를 벤치마킹하여, 다양한 후행 작업, 특히 분류 및 세포핵 인스턴스 세분화에서 도메인에 맞춘 사전 훈련이 ImageNet 사전 훈련보다 뛰어나다는 것을 입증한다. 주요 기여는 저표본 환경에서 성능을 향상시키는 도메인 특화 데이터 정제 및 증강 기법을 제공하는 것으로, 병리학 분야에서 밀도 높은 예측 작업에 대해 SSL을 처음으로 성공적으로 적용한 것이다.

ABSTRACT

Computational pathology can lead to saving human lives, but models are annotation hungry and pathology images are notoriously expensive to annotate. Self-supervised learning has shown to be an effective method for utilizing unlabeled data, and its application to pathology could greatly benefit its downstream tasks. Yet, there are no principled studies that compare SSL methods and discuss how to adapt them for pathology. To address this need, we execute the largest-scale study of SSL pre-training on pathology image data, to date. Our study is conducted using 4 representative SSL methods on diverse downstream tasks. We establish that large-scale domain-aligned pre-training in pathology consistently out-performs ImageNet pre-training in standard SSL settings such as linear and fine-tuning evaluations, as well as in low-label regimes. Moreover, we propose a set of domain-specific techniques that we experimentally show leads to a performance boost. Lastly, for the first time, we apply SSL to the challenging task of nuclei instance segmentation and show large and consistent performance improvements under diverse settings.

연구 동기 및 목표

• 대규모 병리학 영상 데이터에서 자율학습(SSL)의 효과성을 ImageNet 사전 훈련과 비교 평가하는 것.
• 표준 SSL 방법의 전이를 방해하는 자연 이미지와 병리학 이미지 간의 핵심 차이를 규명하는 것.
• 병리학 데이터에서 SSL 성능을 향상시키기 위해 도메인 특화 데이터 정제 및 증강 전략을 설계하고 검증하는 것.
• 컴퓨터 병리학에서 흔한 저자원 환경에서 SSL의 레이블 효율성을 입증하는 것.
• 세포핵 인스턴스 세분화와 같은 도전적인 과제에 대해 SSL을 처음으로 적용하고 성능을 평가하는 것.

제안 방법

• The Cancer Genome Atlas (TCGA)에서 유래한 1,900만 개의 전체 슬라이드 이미지(WSI) 패치를 대상으로 MoCo v2, SwAV, Barlow Twins, DINO를 사용해 SSL 모델을 사전 훈련하는 것.
• 병리학 영상에 특화된 도메인 특화 증강 전략을 도입하여 회전 불변성과 색상 증강을 통해 형태학적 및 맥락적 특징을 더 잘 포착하는 것.
• 다섯 개의 데이터셋(BACH, CRC, PatchCamelyon, MHIST(분류), CoNSeP(세포핵 인스턴스 세분화))에서 선형 평가 및 미세조정 프로토콜을 적용하는 것.
• 저품질 패치를 필터링하고 사전 훈련 데이터의 다양성과 대표성을 확보하기 위해 이중 단계의 데이터 정제 파이프라인을 사용하는 것.
• 자율학습과 지도 학습 사전 훈련 간의 해석 가능성과 특징 국소화를 분석하기 위해 비전 트랜스포머(Vision Transformer, ViT)의 주의 맵(attention maps)을 평가하는 것.
• CLAM 스타일의 특징 집합을 사용해 Camelyon16에서 슬라이드 수준의 분류 실험을 수행하여 전체 슬라이드 분석으로의 전이 가능성 평가하는 것.

실험 결과

연구 질문

• RQ1 병리학 데이터에서 자율학습 사전 훈련이 후행 병리학 분류 및 세분화 과제에서 ImageNet 사전 훈련을 초월하는가?
• RQ2 도메인 특화 데이터 증강 및 정제 기법이 표준 증강 기법과 비교해 병리학 영상에서 SSL 성능을 얼마나 향상시키는가?
• RQ3 병리학에서 흔한 저샷 학습 환경에서 SSL의 레이블 효율성은 어느 정도인가?
• RQ4 SSL이 병리학에서의 세포핵 인스턴스 세분화와 같은 밀도 높은 예측 과제에 효과적으로 적용될 수 있는가?
• RQ5 자율학습 모델이 ImageNet 사전 훈련 모델보다 더 해석 가능하고 생물학적으로 관련성이 있는 특징을 학습하는가? 주의 시각화를 통해 이를 입증할 수 있는가?

주요 결과

• TCGA WSI 패치에서 대규모 도메인에 맞춘 사전 훈련은 선형 평가 및 미세조정을 포함한 모든 후행 과제에서 ImageNet 사전 훈련을 일관되게 뛰어넘었다.
• 제안된 도메인 특화 데이터 증강 및 정제 기법은 모든 SSL 방법과 데이터셋에서 뚜렷하고 일관된 성능 향상을 이끌었다.
• SSL은 매우 높은 레이블 효율성을 보였으며, CoNSeP 데이터셋에서 레이블 데이터의 10%만으로도 높은 성능를 달성했고, ImageNet 기반 베이스라인을 능가했다.
• 이번에 처음으로 SSL이 세포핵 인스턴스 세분화에 성공적으로 적용되었으며, Barlow Twins는 ImageNet 지도 학습 기반 베이스라인 대비 더 뛰어난 경계 검출 및 세포 분리 성능를 보였다.
• 주의 시각화 결과, 자율학습 ViT 모델은 세포와 형태학적 표현형(예: 상피세포, 염증세포, 섬유아세포)을 국소화하는 데 성공했지만, ImageNet 사전 훈련 ViT는 해석 가능한 주의 패턴을 생성하지 못했다.
• Camelyon16에서 슬라이드 수준의 분류 실험에서 MoCo v2를 TCGA에서 사전 훈련한 결과 AUROC가 0.986에 도달했고, ImageNet 사전 훈련 대비 0.927에 그친 점을 통해 전체 슬라이드 수준에서도 도메인에 맞춘 사전 훈련의 이점이 확인되었다.