[논문 리뷰] Direct Uncertainty Prediction with Applications to Healthcare.

Maithra Raghu, Katy Blumer외 4명|arXiv (Cornell University)|2018. 07. 04.

Machine Learning in Healthcare인용 수 6

한 줄 요약

이 논문은 분류기 출력에서 유추하는 대신, 직접적으로 불확실성 점수를 예측하도록 모델을 훈련시켜 감독 학습에서 레이블 불일치(불확실성)를 예측하는 직접적인 방법을 제안한다. 이 방법은 합성 및 의료 응용 분야에서 양단계 방법보다 우수한 성능을 보이며, 인간 평가자 간 높은 불일치를 보이는 인스턴스를 더 잘 식별함으로써 레이블링 효율성을 향상시킨다.

ABSTRACT

Large labeled datasets for supervised learning are frequently constructed by assigning each instance to multiple human evaluators, and this leads to disagreement in the labels associated with a single instance. Here we consider the question of predicting the level of disagreement for a given instance, and we find an interesting phenomenon: direct prediction of uncertainty performs better than the two-step process of training a classifier and then using the classifier outputs to derive an uncertainty. We show stronger performance for predicting disagreement via this direct method both in a synthetic setting whose parameters we can fully control, and in a paradigmatic healthcare application involving multiple labels assigned by medical domain experts. We further show implications for allocating additional labeling effort toward instances with the greatest levels of predicted disagreement.

연구 동기 및 목표

• 대규모 감독 학습에서 동일한 인스턴스에 대해 다수의 평가자가 레이블을 할당하는 상황에서 발생하는 레이블 불일치 문제를 해결하기 위해.
• 분류기 출력에서 추론하는 대신 직접 불일치를 모델링하여 불확실성 추정의 정확도를 향상시키기 위해.
• 예측된 불일치가 가장 높은 인스턴스를 식별함으로써 레이블링 자원을 더 스마트하게 할당할 수 있도록 하기 위해.
• 통제된 합성 환경과 전문가가 레이블링한 데이터를 사용한 실제 의료 응용 분야에서 방법을 검증하기 위해.

제안 방법

• 여러 평가자 간 불일치를 감독으로 사용하여 입력 특징에서 직접 불확실성 점수를 예측하도록 딥 네ural 네트워크를 훈련한다.
• 평가자 간 레이블 분포의 분산 또는 엔트로피를 불확실성으로 정의하고, 이 값을 훈련 중 목표 신호로 사용한다.
• 모델이 클래스 레이블과 불확실성 점수를 동시에 예측하도록 다중 작업 학습 설정을 사용한다.
• 분류에 대한 교차 엔트로피 손실과 불확실성 예측에 대한 회귀 손실을 조합한 손실 함수를 최적화한다.
• 훈련된 모델을 사용하여 새로운 인스턴스의 불확실성을 예측하고, 이로써 높은 불일치를 보이는 샘플을 재검토 대상으로 우선순위를 정한다.
• 직접 불확실성 예측 방법을 분류기 훈련 후 출력에서 불확실성을 유도하는 두 단계 기반 방법과 비교한다.

실험 결과

연구 질문

• RQ1 직접 불확실성 예측 방법이 분류기 훈련 후 출력에서 불확실성을 유도하는 두 단계 방법보다 우수한가?
• RQ2 알려진 불일치 패턴을 가진 통제된 합성 환경에서 직접 방법은 어떤 성능을 보이는가?
• RQ3 직접 방법은 전문가가 레이블링한 의료 데이터를 사용한 실제 의료 응용 분야로 일반화될 수 있는가?
• RQ4 예측된 불확실성이 높은 불일치 인스턴스를 우선순위로 정함으로써 효율적인 레이블링을 얼마나 잘 이끌 수 있는가?
• RQ5 불확실성 예측의 품질이 최종 레이블링 효율성과 데이터 품질에 어떤 영향을 미치는가?

주요 결과

• 직접 불확실성 예측 방법은 합성 및 실제 의료 데이터셋 모두에서 레이블 불일치를 예측하는 데 두 단계 방법보다 뚜렷하게 뛰어난 성능을 보였다.
• 합성 환경에서는 직접 방법이 높은 불일치 인스턴스를 더 잘 구분함을 보여주는 더 높은 AUC 점수를 기록했다.
• 다수의 전문가가 레이블링한 의료 영상 데이터를 포함한 의료 응용 분야에서, 직접 방법은 두 단계 대비 불일치가 높은 인스턴스를 더 정확하게 식별했다.
• 모델이 예측한 불확실성 점수는 실제 평가자 간 불일치와 강하게 상관되어 있었으며, 이는 신뢰성 있는 예측임을 검증했다.
• 높은 예측 불확실성 점수를 가진 인스턴스는 레이블링 오류를 포함할 가능성이 더 높았으며, 재검토를 우선순위로 정하는 데 유용함을 시사했다.
• 직접 방법은 가장 모호한 케이스에 집중함으로써 높은 품질의 데이터를 확보하기 위해 필요한 레이블링 반복 횟수를 줄였다.