[논문 리뷰] Global Contrast Masked Autoencoders Are Powerful Pathological Representation Learners

Quan Hao, Xingyu Li외 8명|arXiv (Cornell University)|2022. 05. 18.

AI in cancer detection인용 수 6

한 줄 요약

이 논문은 자기지도 학습 방법인 글로벌 컨trast-마스크드 오토에인코드러(GCMAE)를 제안한다. 이 방법은 마스크된 이미지 모델링과 대비 학습을 결합하여 레이블이 없는 H&E 염색 병리 전체 슬라이드 영상에서 강력하고 이식 가능한 표현을 학습한다. GCMAE는 Camelyon16, NCTCRC, BreakHis에서 교차 데이터셋 전이 학습에서 최신 기술 수준(SOTA) 성능을 달성하며, 특히 선형 프로빙 및 파인튜닝 설정에서 지도 학습 및 대비 학습 기준선(MAE 및 CS-CO 포함)을 능가한다.

ABSTRACT

Based on digital pathology slice scanning technology, artificial intelligence algorithms represented by deep learning have achieved remarkable results in the field of computational pathology. Compared to other medical images, pathology images are more difficult to annotate, and thus, there is an extreme lack of available datasets for conducting supervised learning to train robust deep learning models. In this paper, we propose a self-supervised learning (SSL) model, the global contrast-masked autoencoder (GCMAE), which can train the encoder to have the ability to represent local-global features of pathological images, also significantly improve the performance of transfer learning across data sets. In this study, the ability of the GCMAE to learn migratable representations was demonstrated through extensive experiments using a total of three different disease-specific hematoxylin and eosin (HE)-stained pathology datasets: Camelyon16, NCTCRC and BreakHis. In addition, this study designed an effective automated pathology diagnosis process based on the GCMAE for clinical applications. The source code of this paper is publicly available at https://github.com/StarUniversus/gcmae.

연구 동기 및 목표

• 계산 병리학에 적합한 자기지도 표현 학습 방법을 개발하여 레이블이 부족한 병리 영상 데이터 문제를 해결한다.
• 다양한 염색 프로토콜과 질환 유형을 가진 다양한 병리 데이터셋 간에 딥 러닝 모델의 일반화 및 이식 가능성을 향상시킨다.
• 병리 영상 표현 학습에서 마스크된 이미지 모델링에 최적의 마스크 비율을 규명한다.
• 학습된 표현 기반으로 임상적으로 실현 가능한 자동 진단 파이프라인을 설계하여 실세계 적용을 위한 기반을 마련한다.
• 염색 변동성에 대한 모델의 강건성을 평가하기 위해 염색 정규화 유무를 비교한다.

제안 방법

• GCMAE는 ViT 기반 인코더를 사용하여 마스크된 패치를 재구성하고, 양의 및 음의 패치 표현 간의 대비를 동시에 학습시킴으로써 마스크된 오토에인코드링(MAE)과 대비 학습을 통합한다.
• 모델은 글로벌 컨trast 손실을 사용하여 전반적인 맥락적 특징 학습 능력을 향상시키며, 마스크된 재구성 작업은 국소적인 질감과 구조적 세부 정보를 포착한다.
• 이중 단계 학습 전략을 적용한다: 먼저 Camelyon16, NCTCRC, BreakHis와 같은 소스 데이터셋에서 마스크 재구성과 대비 학습을 통해 사전학습을 수행하고, 이후 하류 작업에서 파인튜닝을 수행한다.
• 학습 가능한 마스크 비율 하이퍼파ram터를 사용하여 병리 영상 데이터에 대해 실증적으로 최적화하여 국소 및 글로벌 특징 학습 간 균형을 이룬다.
• 프레임워크는 하류 분류 작업을 위한 선형 프로빙과 엔드 투 엔드 파인튜닝을 모두 지원하여 전이 학습 성능 평가가 가능하다.
• GCMAE 특징를 기반으로 한 자동 진단 파이프라인을 설계하여 주의 기반 분류와 모델 distillation을 통합하여 임상 현장 적용을 위한 기반을 마련한다.

실험 결과

연구 질문

• RQ1 마스크된 오토에인코드링과 대비 학습을 결합하면 병리 영상 분석에서 표현의 이식 가능성이 향상되는가?
• RQ2 H&E 염색 전체 슬라이드 영상 맥락에서 마스크된 이미지 모델링에 최적의 마스크 비율은 무엇인가?
• RQ3 GCMAE는 병리 영상에서 교차 데이터셋 전이 학습에서 지도 학습 및 대비 학습 기준선과 비교해 어떻게 성능을 냈는가?
• RQ4 염색 정규화가 GCMAE와 다른 SSL 방법 간의 상대적 성능 격차에 영향을 미치는가?
• RQ5 경량화된 GCMAE 기반 모델은 신뢰할 수 있고 임상적으로 실현 가능한 자동 진단을 달성할 수 있는가?

주요 결과

• BreakHis 데이터셋에서 GCMAE는 선형 프로빙 시 92.14%의 정확도와 파인튜닝 시 99.23%의 AUC를 기록하여 MAE(89.52% 및 98.51%) 및 기타 기준선을 능가했다.
• 교차 데이터셋 전이 학습에서 GCMAE는 염색 정규화 없이도 Camelyon16에서 사전학습한 지도 모델을 초월하여 NCTCRC 데이터셋에서 선형 프로빙 정확도 89.22%와 파인튜닝 정확도 93.89%를 달성했다.
• 염색 정규화 없이도 GCMAE는 염색 정규화를 사용하는 다른 방법들조차도 능가하여 염색 변동성에 대한 뛰어난 강건성을 입증했다.
• 절단 분석을 통해 병리 영상에 최적의 마스크 비율이 0.5에서 0.7 사이에 위치함을 확인하여 국소 및 글로벌 특징 학습 간 균형을 이루는 데 기여함을 입증했다.
• GCMAE 기반 자동 진단 파이프라인은 BreakHis에서 높은 AUC(99.23%)와 정확도(92.14%)를 기록하여 강력한 임상 실현 가능성 잠재력을 보였다.
• GCMAE는 Camelyon16, NCTCRC, BreakHis 세 데이터셋 전반에서 뛰어난 성능 유지를 보이며 질환 및 영상 프로토콜 간의 일반화 능력을 입증했다.