[논문 리뷰] Exploiting Uncertainties from Ensemble Learners to Improve Decision-Making in Healthcare AI

Yingshui Tan, Baihong Jin외 3명|arXiv (Cornell University)|2020. 07. 12.

Explainable Artificial Intelligence (XAI)참고 문헌 34인용 수 6

한 줄 요약

이 논문은 당뇨성 망막병증의 조기 징후를 탐지하는 데 있어, 결정 부문의 향상을 위해 앙상블 평균을 앙상블 분산보다 우월한 불확실성 지표로 사용할 것을 제안한다. 실제 데이터셋에 대한 이론적 분석과 실증 검증을 통해 앙상블 평균이 분산보다 더 효과적으로 참성(false negatives)을 감소시켜, 최소한의 재검토 부담으로 더 나은 인간-AI 협업을 가능하게 한다.

ABSTRACT

Ensemble learning is widely applied in Machine Learning (ML) to improve model performance and to mitigate decision risks. In this approach, predictions from a diverse set of learners are combined to obtain a joint decision. Recently, various methods have been explored in literature for estimating decision uncertainties using ensemble learning; however, determining which metrics are a better fit for certain decision-making applications remains a challenging task. In this paper, we study the following key research question in the selection of uncertainty metrics: when does an uncertainty metric outperforms another? We answer this question via a rigorous analysis of two commonly used uncertainty metrics in ensemble learning, namely ensemble mean and ensemble variance. We show that, under mild assumptions on the ensemble learners, ensemble mean is preferable with respect to ensemble variance as an uncertainty metric for decision making. We empirically validate our assumptions and theoretical results via an extensive case study: the diagnosis of referable diabetic retinopathy.

연구 동기 및 목표

• 높은 불확실성으로 인해 조기 단계의 위험 높은 질환을 잘못 분류하는 문제를 해결하기 위해.
• 앙상블 학습을 통한 의료 진단 맥락에서 일반적으로 사용되는 두 가지 불확실성 지표인 앙상블 평균과 앙상블 분산을 비교하고 이론적으로 분석하기 위해.
• 실제 사례 연구를 통해 이론적 결과를 실증적으로 검증하기 위해 (참조 가능한 당뇨성 망막병증에 대한).
• 불확실성이 높은 음성 예측을 식별하여 전문가의 재검토를 위해 제출함으로써 인간-AI 협업을 향상시키고, 참성을 최소화하기 위해.

제안 방법

• 저자는 불확실성이 높은 음성 예측(앙상블에 의해 음성으로 분류되지만 실제로는 참성일 가능성이 높은 예측)을 식별하여 인간 검토 대상으로 표시하는 인간-AI 협업 체계를 정의한다.
• 이러한 예측의 참성 가능성에 따라 순위를 매기기 위해 모델 예측의 앙상블 평균을 불확실성 지표로 제안한다.
• 이 방법을 앙상블 분산 및 평균 + 분산의 조합 지표와 비교하며, 인간 검토 부담을 제어하기 위해 임계값 기반의 불확실한 음성 예측 비율(q%)을 사용한다.
• 당뇨성 망막병증 데이터셋을 대상으로 스태킹 앙상블, MC 드롭아웃, 테스트 시점 증강(TTA) 세 가지 앙상블 기법을 통해 방법을 평가한다.
• 표시된 불확실한 음성 예측 중 실제 참성 예측의 비율을 측정하기 위해 '참성 정밀도(FNP)'라는 성능 지표를 사용한다.
• 약간의 가정 하에 이론적 분석을 통해 앙상블 평균이 불확실성 기반 의사결정에서 앙상블 분산보다 바람직하다는 것을 보여준다.

실험 결과

연구 질문

• RQ1 앙상블 학습을 통한 건강의료 AI 맥락에서 어떤 불확실성 지표가 다른 지표보다 더 우월한가?
• RQ2 조기 단계 질환 진단에서 참성 예측을 식별하는 데 있어 앙상블 평균이 앙상블 분산보다 더 나은 불확실성 지표인가?
• RQ3 스태킹, MC 드롭아웃, TTA와 같은 다양한 앙상블 방법은 불확실성 지표를 사용하여 조기 질환을 탐지하는 데 얼마나 효과적인가?
• RQ4 불확실성 기반 인간-AI 협업을 통해 얼마나 많은 참성을 줄일 수 있으며, 인간 재검토 비용을 최소화할 수 있는가?
• RQ5 조기 질환 사례는 분포 외 입력보다 불확실성 기반 의사결정에 더 큰 도전을 안기는가?

주요 결과

• 약간의 가정 하에 이론적 분석 결과, 앙상블 평균이 참성 예측 식별을 위한 불확실성 지표로 앙상블 분산보다 바람직하다는 것이 입증되었다.
• 당뇨성 망막병증에 대한 실증 결과에 따르면, 스태킹 앙상블에 앙상블 평균을 사용할 경우, 1.0%의 불확실한 음성 예측 비율에서 참성을 최대 18.13% 감소시켰다.
• 평균과 분산의 조합 지표가 가장 높은 참성 감소율(1.0% 불확실한 음성 예측 비율에서 18.13%)을 기록했으며, 개별 지표보다 뛰어난 성능을 보였다.
• MC 드롭아웃과 TTA는 더 안정적인 불확실성 추정을 보였지만, 참성 감소 측면에선 스태킹 앙상블에 비해 낮은 성능을 보였다.
• 본 연구에서는 조기 질환 사례가 분포 외 입력보다 불확실성 기반 탐지에 더 어려운 과제임을 발견하였으며, 이는 전용 불확실성 추정 방법의 필요성을 시사한다.
• 평균 + 분산 지표를 사용한 본 방법은 0.8%의 불확실한 음성 예측 비율에서 참성을 13.48% 감소시켰으며, 낮은 인간 검토 비용으로도 뛰어난 성능을 보였다.