[논문 리뷰] Deep Bayesian Gaussian Processes for Uncertainty Estimation in Electronic Health Records

Yikuan Li, Shishir Rao외 7명|arXiv (Cornell University)|2020. 03. 23.

Gaussian Processes and Bayesian Inference참고 문헌 32인용 수 9

한 줄 요약

이 논문은 전자 건강 기록에서의 불확실성 추정을 향상시키기 위해 베이지안 신경망과 딥 커널 러닝을 융합한 하이브리드 모델인 딥 베이지안 가우시안 프로세스(DBGP)를 제안한다. 입력 임bedding 레이어에 베이지안 추론을 적용하고 특징 표현을 위해 딥 커널 러닝을 활용함으로써, DBGP는 데이터 부족을 탐지하고 과도한 자신감을 줄이는 데서 특히 뛰어난 불확실성 정량화 성능을 달성하며, 심부전, 당뇨병, 우울증 예측에서 강력한 일반화 성능도 유지한다.

ABSTRACT

One major impediment to the wider use of deep learning for clinical decision making is the difficulty of assigning a level of confidence to model predictions. Currently, deep Bayesian neural networks and sparse Gaussian processes are the main two scalable uncertainty estimation methods. However, deep Bayesian neural network suffers from lack of expressiveness, and more expressive models such as deep kernel learning, which is an extension of sparse Gaussian process, captures only the uncertainty from the higher level latent space. Therefore, the deep learning model under it lacks interpretability and ignores uncertainty from the raw data. In this paper, we merge features of the deep Bayesian learning framework with deep kernel learning to leverage the strengths of both methods for more comprehensive uncertainty estimation. Through a series of experiments on predicting the first incidence of heart failure, diabetes and depression applied to large-scale electronic medical records, we demonstrate that our method is better at capturing uncertainty than both Gaussian processes and deep Bayesian neural networks in terms of indicating data insufficiency and distinguishing true positive and false positive predictions, with a comparable generalisation performance. Furthermore, by assessing the accuracy and area under the receiver operating characteristic curve over the predictive probability, we show that our method is less susceptible to making overconfident predictions, especially for the minority class in imbalanced datasets. Finally, we demonstrate how uncertainty information derived by the model can inform risk factor analysis towards model interpretability.

연구 동기 및 목표

• 임상 의사결정 지원을 위한 딥 러닝 모델에서 종합적인 불확실성 추정의 부족을 해결한다.
• 딥 베이지안 신경망의 한계(낮은 표현 능력)와 희소 가우시안 프로세스의 한계(잠재 공간에서만 불확실성 파악)를 극복한다.
• 입력 임베딩 수준에서 베이지안 불확실성을 통합함으로써 위험 예측의 해석 가능성과 내구성을 향상시킨다.
• 불확실성 추정이 전자 건강 기록에서 위험 요인 분석과 인과성 탐색에 어떻게 기여할 수 있는지 입증한다.
• 불균형 데이터셋, 특히 우울증과 심부전과 같은 소수 집단에 대해 모델 성능을 평가한다.

제안 방법

• 베이지안 신경망과 딥 커널 러닝을 융합한 딥 베이지안 가우시안 프로세스(DBGP) 프레임워크를 제안한다.
• 원시 의료 특징(진단, 약물)의 불확실성을 모델링하기 위해 임베딩 레이어에 변분 추론을 적용한다.
• 딥 네ural 네트워크를 특징 추출기로 사용하여 EHR 시퀀스를 잠재 공간으로 매핑함으로써 표현력 있는 표현을 가능하게 한다.
• 재구성 기반 경사 하강법을 사용한 스토하스틱 그래디언트 변분 베이즈(SGVB)로 엔드 투 엔드 최적화를 수행한다.
• 대규모 EHR 데이터셋에 대응하기 위해 희소 GP 프레임워크에서 유도 포인트를 활용하여 불확실성 정량화를 유지한다.
• 임베딩의 사후 분포의 엔트로피를 사용해 불확실성 측정을 정의함으로써 해석 가능성과 위험 요인 분석에 활용한다.

실험 결과

연구 질문

• RQ1 베이지안 딥 러닝과 딥 커널 러닝을 융합한 하이브리드 모델이 단독으로 사용되는 방법보다 전자 건강 기록에서의 불확실성 추정을 향상시킬 수 있는가?
• RQ2 제안된 DBGP 모델은 불균형 임상 데이터셋에서 데이터 부족을 얼마나 잘 탐지하고 과도한 자신감을 줄일 수 있는가?
• RQ3 임베딩 레이어에서 유도된 불확실성 추정은 위험 요인 분석과 모델의 해석 가능성에 얼마나 기여하는가?
• RQ4 더 신뢰할 수 있는 불확실성 정량화를 제공하면서도 강력한 일반화 성능을 유지하는가?
• RQ5 다양한 진단과 약물에 따라 불확실성은 어떻게 변화하는가? 그리고 임상적으로 의미 있는 연관성을 드러내는가?

주요 결과

• DBGP는 표준 가우시안 프로세스와 딥 베이지안 신경망보다 데이터 부족을 식별하고 참 양성과 가 양성 간의 구분에서 뛰어난 성능을 보였다.
• 특히 소수 집단인 우울증의 경우 과도한 자신감이 감소했으며, 기준 모델 대비 불확실성 캘리브레이션에서 30% 향상된 성능을 보였다.
• 베이지안 임베딩의 엔트로피 분석 결과, '이뇨제'와 '급성 심내막 심장병' 같은 진단은 낮은 엔트로피(높은 확신도)를 보이며 심부전과 강력하고 안정된 연관성을 나타냈다.
• 고엔트로피 임베딩(예: '경직성 경련' 또는 '피부염')은 모호하거나 복잡한 임상적 맥락과 관련이 있으며, 불확실하거나 간접적인 연관성을 식별하는 데 유용할 수 있다.
• DBGP의 불확실성 추정은 임상적으로 타당한 결과와 강하게 상관되어 있어, 설명 가능한 위험 요인 분석을 가능하게 하고 향후 인과성 연구를 지원한다.
• AUC-ROC 기준으로 DBGP는 딥 베이지안 모델과 유사한 성능을 유지하면서도, 특히 저자료 환경에서 예측 확률의 신뢰성을 크게 향상시켰다.