[논문 리뷰] Trust Issues: Uncertainty Estimation Does Not Enable Reliable OOD Detection On Medical Tabular Data

Dennis Ulmer, Lotta Meijerink외 1명|arXiv (Cornell University)|2020. 11. 06.

Explainable Artificial Intelligence (XAI)참고 문헌 30인용 수 16

한 줄 요약

이 연구는 실생활 중환자 관리(ICU) 환자 데이터를 활용한 의료용 표형 데이터에서 분포 외(out-of-distribution, OOD) 탐지에 대한 불확실성 추정 기법을 평가한다. 베이지안 신경망과 앙상블 모델 등 다양한 방법을 고려했음에도 불구하고, 임상적으로 유의미한 상황에서 거의 모든 기법이 OOD 환자를 신뢰할 수 있게 탐지하지 못함을 확인하여, 고위험 의료 응용 분야에서 모델의 신뢰성에 심각한 격차가 있음을 드러낸다.

ABSTRACT

When deploying machine learning models in high-stakes real-world environments such as health care, it is crucial to accurately assess the uncertainty concerning a model's prediction on abnormal inputs. However, there is a scarcity of literature analyzing this problem on medical data, especially on mixed-type tabular data such as Electronic Health Records. We close this gap by presenting a series of tests including a large variety of contemporary uncertainty estimation techniques, in order to determine whether they are able to identify out-of-distribution (OOD) patients. In contrast to previous work, we design tests on realistic and clinically relevant OOD groups, and run experiments on real-world medical data. We find that almost all techniques fail to achieve convincing results, partly disagreeing with earlier findings.

연구 동기 및 목표

• 실제 의료 표형 데이터에서 불확실성 추정 기법이 분포 외(OOD) 환자를 신뢰성 있게 탐지할 수 있는지 평가하는 것.
• 환자 인구통계학적 특성, 임상 지침 변화, 데이터 손상 등 임상적으로 관련성이 있는 OOD 시나리오를 설계하는 것.
• 두 개의 대규모 실생활 혼합형 의료 데이터셋(MIMIC-III 및 eICU)에서 불확실성 기법을 벤치마킹하는 것.
• 잘 校정된 불확실성 추정이 의료 AI에서 강건한 OOD 탐지로 이어진다는 가정을 도전하는 것.
• 향후 의료 머신러닝 분야의 OOD 탐지 연구를 위한 오픈소스 벤치마크 및 테스트 세트를 제공하는 것.

제안 방법

• 연구는 MIMIC-III 및 eICU라는 두 개의 대규모 실생활 혼합형 표형 데이터셋을 사용하며, 높은 클래스 불균형을 포함한 ICU 환자 기록을 포함한다.
• 응급/긴급 입원, 계획적 입원, 임상 지침이 변경된 환자 등 하위 집단을 선별하여 임상적으로 관련성이 있는 OOD 그룹을 구성한다.
• 베이지안 신경망(BBB), 몬테카를로 드롭아웃, 앙상블 방법(예: 앵커드 앙상블) 등 다양한 불확실성 추정 기법을 평가한다.
• 예측 엔트로피 및 기타 불확실성 지표에서 유도된 신뢰도 점수를 사용하여 AUC-ROC 및 AUPR와 같은 OOD 탐지 지표로 각 기법의 성능을 측정한다.
• 인위적 변형과 실생활 분포 이탈을 모두 포함하여 임상적 OOD 시나리오를 시뮬레이션한다.
• 다양한 모델 간의 불확실성 추정을 비교하고, 실패 원인을 설명하기 위해 토이 예제를 활용해 결정 경계 행동을 분석한다.

실험 결과

연구 질문

• RQ1 실제 의료 표형 데이터에서 불확실성 추정 기법이 분포 외(OOD) 환자를 신뢰성 있게 탐지할 수 있는가?
• RQ2 인위적 공변량 이탈 상황에서 잘 성능을 내는 불확실성 기법이 임상적으로 관련성이 있는 OOD 시나리오로 일반화되는가?
• RQ3 다양한 OOD 그룹에서 실생활 EHR 데이터에서 베이지안, 앙상블, 드롭아웃 등 다양한 불확실성 추정 기법의 성능은 어떻게 다른가?
• RQ4 딥 네URAL 네트워크가 내부 분포(in-distribution) 데이터에서는 잘 校정되었음에도 불구하고, OOD 샘플에 대해 낮은 신뢰도 예측을 하지 못하는 이유는 무엇인가?
• RQ5 모델 아키텍처와 훈련 정규화(예: 앵커드 앙상블)가 OOD 탐지 성능에 어느 정도 영향을 미치는가?

주요 결과

• 모든 테스트된 신경 분류기용 불확실성 추정 기법이 실생활 의료 표형 데이터에서 다양한 임상적으로 관련성이 있는 OOD 시나리오 전반에서 OOD 샘플을 안정적으로 탐지하지 못함을 확인함.
• 응급/긴급 입원 환자 그룹에 대한 OOD 탐지 AUC-ROC는 약 0.71~0.74에 불과하여 무작위 추측보다는 약간 높은 성능를 보임.
• 베이지안 신경망(BBB)과 같은 강력한 불확실성 校정 성능을 보이는 모델조차도 OOD 탐지 성능이 열악함. 이는 훈련의 불안정성과 과소적합(underfitting) 때문일 가능성 있음.
• 앵커드 앙상블과 BBB는 변형 실험에서 상대적으로 양호한 성능를 보였으며, 이는 유도된 모델 다양성과 정규화 효과 때문일 수 있음.
• OOD 환자를 탐지하지 못하는 것은, 불확실성 추정 후행 처리가 이루어진 경우에도 네트워크의 큰 과신된 결정 영역 때문임.
• 연구는 중요한 괴리점을 드러냄: 모델이 내부 분포 데이터에서는 잘 校정되었더라도 OOD 입력을 경고하지 못할 수 있으며, 이는 임상 적용 시 위험한 예측을 초래할 수 있음.