[논문 리뷰] Direct Uncertainty Prediction for Medical Second Opinions

Maithra Raghu, Katy Blumer외 5명|arXiv (Cornell University)|2018. 07. 04.

Machine Learning in Healthcare인용 수 49

한 줄 요약

본 논문은 Direct Uncertainty Prediction (DUP)이 환자 특성으로부터 불확실성 점수를 직접 학습하고 전통적인 두 단계 방법인 Uncertainty Via Classification (UVC)보다 의사 의견 충돌이 발생할 가능성이 높은 사례를 더 잘 식별한다는 것을, 대규모 의료 영상 데이터와 이론적 결과로 입증한다.

ABSTRACT

The issue of disagreements amongst human experts is a ubiquitous one in both machine learning and medicine. In medicine, this often corresponds to doctor disagreements on a patient diagnosis. In this work, we show that machine learning models can be trained to give uncertainty scores to data instances that might result in high expert disagreements. In particular, they can identify patient cases that would benefit most from a medical second opinion. Our central methodological finding is that Direct Uncertainty Prediction (DUP), training a model to predict an uncertainty score directly from the raw patient features, works better than Uncertainty Via Classification, the two-step process of training a classifier and postprocessing the output distribution to give an uncertainty score. We show this both with a theoretical result, and on extensive evaluations on a large scale medical imaging application.

연구 동기 및 목표

• 의사 간 의견 차이가 발생하는 의료 이차 의견 문제를 동기화하고 정형화한다.
• Direct Uncertainty Prediction (DUP)와 Uncertainty Via Classification (UVC)를 정의하고 비교한다.
• 자연스러운 모델 아래에서 DUP의 무편향성 보장과 UVC의 편향을 보장하는 이론적 보장을 제공한다.
• 대규모 망막 Fundus 영상 데이터와 판정된 골드 스탠다드 세트에서 DUP와 UVC를 실증적으로 검증한다.

제안 방법

• 의사 등급 히스토그램에 대해 불확실성 점수 함수 U를 형식화한다.
• 원시 환자 특징으로부터 h_dup(x)를 직접 학습하여 U(E[Y|O])를 추정하도록 DUP를 개발한다.
• 먼저 분류기를 학습하여 E[Y|g(O)=x]를 산출한 뒤 U를 적용하는 UVC와 대조한다.
• 모델 하에서 h_dup가 U( E[Y|O] )의 무편향 추정값임을 증명하고, h_uvc가 편향 항을 가진다는 것을 입증한다.
• 가상 가우시안 혼합 실험과 대규모 의학 영상 데이터 (DR) 및 판정된 테스트 세트에서 시연한다.

실험 결과

연구 질문

• RQ1 직접 학습된 불확실성이 두 단계 방법과 비교해 의사 간 의견 차이에 대한 무편향 추정치를 제공하는가?
• RQ2 직접 불확실성 예측(DUP)이 불확실성 기반 분류(UVC)보다 우수하게 성능을 발휘하는 조건은 무엇인가?
• RQ3 망막 영상 데이터에서 DUP 모델이 의료 이차 의견이 필요한 사례를 더 잘 식별하는가?
• RQ4 판정된 골드 스탠다드 불일치 작업에서 DUP와 UVC의 성능은 어떠한가?

주요 결과

• DUP는 목표 불확실성의 무편향 추정치를 제공하는 반면, 제안된 모델에서 UVC는 편향 항을 가진다.
• 토이 실험들(가우시안 혼합)과 이미지 흐림 실험들(SVHN/CIFAR-10)에서 DUP가 높은 의견 차이가 있는 데이터 포인트를 더 잘 식별한다.
• 망막 Fundus DR 등급 데이터에서 DUP는 여러 불확실성 정의 및 평가 과제에서 일관되게 UVC를 능가한다.
• 판정된 평가에서 DUP가 베이스라인을 능가하고 합의/의견 차 신호와 더 강하게 정렬된다.
• DUP 기반 순위는 여러 거리 지표에서 UVC 기반 순위보다 판정된 의견 차와 더 강하게 상관된다.