[논문 리뷰] Rethinking Machine Learning Model Evaluation in Pathology

Syed Ashar Javed, Dinkar Juyal외 4명|arXiv (Cornell University)|2022. 04. 11.

AI in cancer detection인용 수 6

한 줄 요약

이 논문은 큰 이미지 크기, 레이블 변동성, 혼란 요인, 도메인 이동 등의 과제를 다루며, 병리학에 특화된 종합적인 기계학습 모델 평가 프레임워크를 제안한다. 테스트 세트 설계 지침, 혼란 요인 인식 평가, 그리고 복원성 테스트(재현성, 반복성, 변형 분석 포함)를 도입하여 표준 지표를 넘어서 임상적 신뢰성을 확보한다.

ABSTRACT

Machine Learning has been applied to pathology images in research and clinical practice with promising outcomes. However, standard ML models often lack the rigorous evaluation required for clinical decisions. Machine learning techniques for natural images are ill-equipped to deal with pathology images that are significantly large and noisy, require expensive labeling, are hard to interpret, and are susceptible to spurious correlations. We propose a set of practical guidelines for ML evaluation in pathology that address the above concerns. The paper includes measures for setting up the evaluation framework, effectively dealing with variability in labels, and a recommended suite of tests to address issues related to domain shift, robustness, and confounding variables. We hope that the proposed framework will bridge the gap between ML researchers and domain experts, leading to wider adoption of ML techniques in pathology and improving patient outcomes.

연구 동기 및 목표

• 이미지 복잡성과 임상적 영향으로 인해 표준 지표가 실패하는 병리학 분야의 기계학습 평가 기준 격차를 해소한다.
• 모델 일반화를 실제 환경에서 떨어뜨리는 임의의 상관관계, 혼란 요인, 데이터셋 편향으로 인한 위험을 완화한다.
• 임상적 사용 사례에 평가를 맞추어 기계학습 연구자와 병리학자 간의 협업을 향상시킨다.
• 임상 도입 전 모델의 신뢰성, 해석 가능성, 안전성을 보장하는 실용적인 평가 프레임워크를 개발한다.

제안 방법

• 임상적 목적에 맞는 평가 설정을 조정한다 — 예를 들어, 선별 도구의 경우 정밀도@K%재현율을 정확도 대신 사용한다.
• 생물학적, 영상, 임상 메타데이터를 통합하여 혼란 요인 인식 테스트 세트를 강화하여 숨겨진 분류를 탐지한다.
• 재현성 및 반복성 테스트를 구현하여 알려진 및 알려지지 않은 변동(예: 염색, 스캔, GPU 비결정성) 하에서의 일관성을 평가한다.
• 합성 변형(예: 염색 이동, 노이즈, 자르기)을 적용하여 실제 영상 변형에 대한 모델 복원성을 평가한다.
• 비판적 영역(예: 배경 또는 비종양 조직)에서 학습하여 부정적 제어 실험을 수행하여 임의의 상관관계를 탐지한다.
• 민감도 테스트 및 도메인 외 테스트를 통합하여 분포 이동 및 극단 케이스에서의 모델 행동을 평가한다.

실험 결과

연구 질문

• RQ1 표준 지표를 넘어서 실제 임상적 도입 요구사항을 반영하기 위해 병리학에서의 기계학습 평가를 어떻게 재구성할 수 있는가?
• RQ2 염색 프로토콜이나 조직 하위형질과 같은 혼란 요인이 임의의 상관관계를 생성하는 데 어떤 역할을 하는가? 그리고 이를 어떻게 탐지할 수 있는가?
• RQ3 표준 평가 관행이 염색 또는 스캔 차이와 같은 영상 수준의 변형 하에서 모델 복원성을 제대로 포착하지 못하는 정도는 어느 정도인가?
• RQ4 부정적 제어 실험은 병리학 기계학습 모델에서 숨겨진 편향과 임의의 특징을 어떻게 도와서 탐지할 수 있는가?
• RQ5 어떤 평가 프레임워크가 다양한 환자 하위군과 임상적 맥락에서 모델의 신뢰성을 보장하는가?

주요 결과

• 정확도나 AUROC와 같은 표준 지표는 임상적 도입에 부적합하며, 희귀한 하위군에서의 열악한 성능를 가리킬 수 있다.
• 나이, 스캐너 유형, 염색 프로토콜 등의 메타데이터를 포함한 테스트 세트는 숨겨진 분류를 드러내고, 대표되지 않은 인구 집단에서의 모델 실패를 향상시켜 탐지한다.
• 진단에 적합하지 않은 영역(예: 배경 또는 비종양 조직)에서 학습된 모델는 성능이 낮아야 한다. 이러한 부정적 제어에서의 실패는 임의의 학습을 시사한다.
• 재현성 및 반복성 테스트는 하드웨어, 소프트웨어, 패치 샘플링의 확률적 특성으로 인한 일관성 없는 결과를 드러내며, 예측의 불안정성을 강조한다.
• 합성 변형에 대한 복원성은 실제 세계의 복원성과 상관관계가 있으며, 영상 변형 하에서의 일반화 평가를 위한 타당한 대체 지표가 된다.
• 췌장 ductal 암에서 KRAS 돌연변이와 같은 혼란 요인이 영상 특징으로부터 잘못 예측될 수 있으며, 이를 테스트하지 않으면 모델 성능이 오해의 소지가 있다.