[논문 리뷰] Domain-specific optimization and diverse evaluation of self-supervised models for histopathology

Jeremy Lai, Faruk Ahmed외 14명|arXiv (Cornell University)|2023. 10. 20.

AI in cancer detection인용 수 4

한 줄 요약

이 논문은 다양한 조직 유형과 암 진단에 걸쳐 기초 모델 성능을 햖थ기 위해 조직병리학 분야에 특화된 자기지도 학습(SSL) 방법을 제안한다. 다양한 배율에서 17종의 조직 유형과 12종의 암 유형을 포함하는 종합적인 벤치마크를 사용하여, 저자들은 표준 방법에 비해 맞춤형 SSL 기법이 성능을 크게 향상시킴을 입증하며, 향후 병리학 분야의 응용 과제에 적합한 고품질 기초 모델을 구축한다.

ABSTRACT

Task-specific deep learning models in histopathology offer promising opportunities for improving diagnosis, clinical research, and precision medicine. However, development of such models is often limited by availability of high-quality data. Foundation models in histopathology that learn general representations across a wide range of tissue types, diagnoses, and magnifications offer the potential to reduce the data, compute, and technical expertise necessary to develop task-specific deep learning models with the required level of model performance. In this work, we describe the development and evaluation of foundation models for histopathology via self-supervised learning (SSL). We first establish a diverse set of benchmark tasks involving 17 unique tissue types and 12 unique cancer types and spanning different optimal magnifications and task types. Next, we use this benchmark to explore and evaluate histopathology-specific SSL methods followed by further evaluation on held out patch-level and weakly supervised tasks. We found that standard SSL methods thoughtfully applied to histopathology images are performant across our benchmark tasks and that domain-specific methodological improvements can further increase performance. Our findings reinforce the value of using domain-specific SSL methods in pathology, and establish a set of high quality foundation models to enable further research across diverse applications.

연구 동기 및 목표

• 자기지도 학습을 통해 조직병리학 분야의 데이터 부족 문제를 해결하고 기초 모델을 개발하기 위해.
• 17종의 조직 유형, 12종의 암 유형, 다양한 배율을 포함하는 다양하고 표준화된 벤치마크를 구축하기 위해.
• 조직병리학에 특화된 SSL 방법을 평가하고 최적화하여 패치 수준 및 약한 지도 학습 과제에서의 성능을 향상시키기 위해.
• 향후 병리학 AI 분야의 연구를 위해 고성능이며 일반화 능력이 뛰어난 기초 모델 세트를 구축하기 위해.
• 도메인 특화된 방법론적 개선이 조직병리학에서의 SSL 성능을 어떻게 크게 향상시키는지 입증하기 위해.

제안 방법

• 다양한 배율과 과제 유형을 포함한 17종의 고유한 조직 유형과 12종의 고유한 암 유형을 바탕으로 종합적인 벤치마크를 개발하였다.
• 대조 및 마스킹 오토에인코딩 접근 방식을 사용하여 조직병리학 전체 슬라이드 영상에서 다양한 자기지도 학습(SSL) 방법을 적용하고 평가하였다.
• 조직학적 영상 특성에 맞게 도메인 특화된 데이터 증강, 정규화 및 훈련 전략을 적용하여 SSL 방법을 최적화하였다.
• 일반화 능력을 평가하기 위해 보류된 패치 수준 분류 및 약한 지도 학습 분류 과제에서 모델을 평가하였다.
• 전이 학습을 사용하여 기초 모델을 다양한 임상 시나리오에서의 후속 과제에 맞게 미세조정하고 성능을 측정하였다.
• 도메인 특화 개선 사항이 SSL 성능에 미치는 영향을 분리하기 위해 분석 실험을 수행하였다.

실험 결과

연구 질문

• RQ1 표준 자기지도 학습 방법은 조직 유형, 암 유형 및 배율이 다양한 조직병리학 과제 전반에서 어떻게 성능을 내는가?
• RQ2 도메인 특화된 방법론적 적응은 조직병리학에서의 SSL 성능을 어느 정도 향상시킬 수 있는가?
• RQ3 도메인 최적화된 SSL을 통해 사전 훈련된 기초 모델은 보류된 패치 수준 및 약한 지도 학습 분류 과제에 효과적으로 일반화될 수 있는가?
• RQ4 데이터 전처리 및 훈련 전략의 어떤 구성 요소가 조직병리학에서의 SSL 성능에 가장 큰 영향을 미치는가?
• RQ5 벤치마크 전반에서 도메인 최적화된 SSL 모델의 성능은 표준 SSL 기준 모델에 비해 어떻게 비교되는가?

주요 결과

• 적절히 조직병리학 영상에 적용된 표준 자기지도 학습 방법은 다양한 조직병리학 벤치마크에서 강력한 성능을 기록한다.
• 맞춤형 데이터 증강 및 정규화와 같은 도메인 특화된 방법론적 개선은 표준 SSL 접근 방식을 초월해 모델 성능을 더욱 향상시킨다.
• 제안된 기초 모델은 보류된 패치 수준 및 약한 지도 학습 분류 과제에 효과적으로 일반화되며, 강력한 전이 가능성(transferability)을 보여준다.
• 다양한 배율에서 17종의 조직 유형과 12종의 암 유형을 포함하는 이 벤치마크는 향후 연구를 위한 종합적이고 재현 가능한 평가 프레임워크를 제공한다.
• 이 연구는 향후 병리학 AI 분야의 모델 개발에 있어 데이터, 컴퓨팅 자원, 전문 지식 요구를 줄일 수 있는 고품질의 기초 모델 세트를 구축한다.
• 도메인 최적화에 의한 성능 향상은 다수의 과제 유형과 조직 유형 전반에서 정량적으로 측정 가능하고 일관된 결과를 보인다.