[논문 리뷰] Improving confidence while predicting trends in temporal disease networks

Djordje Gligorijevic, Jelena Stojanovic외 1명|arXiv (Cornell University)|2018. 03. 28.

Data-Driven Disease Surveillance참고 문헌 9인용 수 8

한 줄 요약

이 논문은 캘리포니아 주 입원 환자 데이터베이스(SID) 네트워크를 사용하여 시간적 질병 추세를 예측할 때의 불확실성 추정을 향상시키기 위해 개선된 가우시안 조건부 랜덤 필드(GCRF) 모델—uGCRF 및 ufGCRF—을 제안한다. 이러한 확장은 예측 정확도를 유지하면서도 표준 GCRF보다 훨씬 뛰어난 불확실성 품질을 보이며, 특히 ufGCRF가 낮은 예측 오차와 높은 신뢰도를 가진 불확실성 추정 사이의 최적의 균형을 달성한다.

ABSTRACT

For highly sensitive real-world predictive analytic applications such as healthcare and medicine, having good prediction accuracy alone is often not enough. These kinds of applications require a decision making process which uses uncertainty estimation as input whenever possible. Quality of uncertainty estimation is a subject of over or under confident prediction, which is often not addressed in many models. In this paper we show several extensions to the Gaussian Conditional Random Fields model, which aim to provide higher quality uncertainty estimation. These extensions are applied to the temporal disease graph built from the State Inpatient Database (SID) of California, acquired from the HCUP. Our experiments demonstrate benefits of using graph information in modeling temporal disease properties as well as improvements in uncertainty estimation provided by given extensions of the Gaussian Conditional Random Fields method.

연구 동기 및 목표

• 과도하거나 과소한 자신감을 가진 예측이 임상적 결론을 잘못 이끌 수 있기 때문에, 의료 예측 모델에서 신뢰할 수 있는 불확실성 추정의 필요성을 해결한다.
• 예측 정확도를 희생시키지 않고도 불확실성 정량화를 향상시키기 위해 구조적 수정을 가한 표준 가우시안 조건부 랜덤 필드(GCRF)를 개선한다.
• HCUP 주 입원 환자 데이터베이스(SID)에서 유도된 실제 시간적 질병 네트워크에서 uGCRF 및 ufGCRF와 같은 확장된 GCRF 모델의 성능을 평가한다.
• 그래프 구조와 불확실성 인식 모델링을 통합할 경우 공중보건 정책 결정에 더 신뢰할 수 있는 예측이 가능하다는 것을 입증한다.
• 비구조적 기준 모델(선형 회귀, 가우시안 프로세스)과의 비교를 통해 질병 추세 예측에서 구조적이고 불확실성 인식 모델링의 이점을 분리하여 평가한다.

제안 방법

• HCUP SID 데이터베이스의 3500만 건의 입원 기록에서 253개 질병을 CCS 체계로 코드화하여 시간적 질병 동반질환 그래프를 구축한다.
• 표준 GCRF 모델을 두 가지 새로운 변형—uGCRF(불확실성 인식 GCRF) 및 ufGCRF(불확실성 및 특징 인식 GCRF)—으로 확장하여 가능도 및 사전 분포를 수정함으로써 예측 신뢰도를 더 잘 반영하도록 한다.
• 지연된 시간적 특징(지연 1, 2, 3)을 통합하고 선형 회귀(LR) 및 가우시안 프로세스(GP) 기준 모델을 비교 모델로 사용한다.
• 예측 정확도(NLPD)와 불확실성 校정을 동시에 최적화하기 위해 구조적 추론을 사용한 최대우도 추정을 통해 모델을 학습한다.
• 2011년 12개월 동안 253개 질병의 월간 입원률을 예측하기 위해 모델을 적용하고, 예측 오차와 불확실성 품질을 평가한다.
• 불확실성 추정 품질의 주요 지표로 부정 로그 예측 밀도(NLPD)를 사용하며, 낮은 값일수록 더 잘 校정된 불확실성임을 의미한다.

실험 결과

연구 질문

• RQ1 비구조적 기준 모델과 비교할 때, GCRF를 통한 구조적 모델링이 시간적 질병 추세 예측 정확도를 향상시키는가?
• RQ2 불확실성 인식 구성 요소를 갖춘 GCRF 모델(즉, uGCRF 및 ufGCRF)이 원래 GCRF보다 더 잘 校정된 불확실성 추정을 제공하는가?
• RQ3 질병 입원 예측에서 다양한 시간 지연과 모델 유형 간에 불확실성 추정 성능는 어떻게 달라지나?
• RQ4 높은 위험도를 가진 의료 응용 분야에서 더 복잡한 모델을 사용하는 데에 비용이 들더라도 불확실성 추정 향상의 효과가 충분히 유의미한가?
• RQ5 제안된 모델 확장은 표준 GCRF 및 비구조적 모델과 비교해 낮은 예측 오차를 유지하면서도 불확실성 품질을 크게 향상시킬 수 있는가?

주요 결과

• ufGCRF 모델은 모든 월 동안 가장 낮은 NLPD 값을 기록하여 가장 신뢰할 수 있는 신뢰구간을 제공함으로써 가장 우수한 전체 성능을 달성했다.
• 원래 GCRF 모델은 평균 NLPD = -0.0046으로 가장 낮은 예측 오차를 기록했지만, 불확실성 校정이 가장 열악했으며, 제안된 확장 모델보다 유의미하게 떨어지는 NLPD 값을 보였다.
• uGCRF 및 ufGCRF는 모두 원래 GCRF보다 불확실성 추정에서 뛰어난 성능을 보였으며, 특히 변동성이 높은 월(예: 1월 및 3월)에서 ufGCRF가 가장 일관된 향상을 보였다.
• 비구조적 기준 모델(LR 및 GP)은 원래 GCRF보다 불확실성 추정에서 더 나은 성능을 보였지만, 예측 정확도와 불확실성 품질 양 측면에서 uGCRF 및 ufGCRF에 뒤지지 않았다.
• ufGCRF는 평균 NLPD -0.0089를 기록하여 원래 GCRF의 -0.0046보다 유의미하게 낮아, 12개월 예측 기간 동안 더 뛰어난 불확실성 校정을 보였다.
• 결과적으로, 불확실성 인식 수정을 가한 구조적 모델링이 특히 자신감 추정이 핵심적인 고위험 의료 응용 분야에서 더 신뢰할 수 있는 예측을 이끌어낸다는 점을 입증했다.