[논문 리뷰] Prediction of future hospital admissions - what is the tradeoff between specificity and accuracy?

Ieva Vasiljeva, Ognjen Arandjelović|arXiv (Cornell University)|2016. 02. 27.

Machine Learning in Healthcare참고 문헌 23인용 수 9

한 줄 요약

이 논문은 전자 의무기록을 사용하여 향후 병원 입원을 예측하는 기계학습 모델을 평가하며, 예측의 정밀도와 정확도 사이의 상충 관계에 초점을 맞춘다. 모델은 입원 유형의 98%를 모델링할 때조차 AUC가 단지 0.8% 감소하는 등 높은 정확도를 유지하며, 실세계 적용에 있어서의 뛰어난 확장성과 실용성을 입증한다.

ABSTRACT

Large amounts of electronic medical records collected by hospitals across the developed world offer unprecedented possibilities for knowledge discovery using computer based data mining and machine learning. Notwithstanding significant research efforts, the use of this data in the prediction of disease development has largely been disappointing. In this paper we examine in detail a recently proposed method which has in preliminary experiments demonstrated highly promising results on real-world data. We scrutinize the authors' claims that the proposed model is scalable and investigate whether the tradeoff between prediction specificity (i.e. the ability of the model to predict a wide number of different ailments) and accuracy (i.e. the ability of the model to make the correct prediction) is practically viable. Our experiments conducted on a data corpus of nearly 3,000,000 admissions support the authors' expectations and demonstrate that the high prediction accuracy is maintained well even when the number of admission types explicitly included in the model is increased to account for 98% of all admissions in the corpus. Thus several promising directions for future work are highlighted.

연구 동기 및 목표

• 최근에 제안된 향후 병원 입원을 예측하는 기계학습 모델이 모델링하는 입원 유형의 수가 증가함에 따라 높은 정확도를 유지하는지 평가하는 것.
• 실세계 전자 의무기록(EHR) 데이터에서 모델의 정밀도(예측하는 질환 수)와 예측 정확도 사이의 상충 관계를 조사하는 것.
• 실세계 데이터 코퍼스에서 전체 입원의 대부분을 커버하도록 확장했을 때 모델의 성능이 안정적이고 신뢰할 수 있는지 확인하는 것.
• 모델의 예측 능력이 다양한 질병 유형에 균일하게 분포되어 있는지, 아니면 빈번히 발생하는 조건들 쪽으로 편향되어 있는지 평가하는 것.
• 더 높은 분류 수준, 시간적 모델링, 중요한 입원 유형을 선정하는 데 사용할 수 있는 대안 기준을 통해 모델의 임상적 유용성을 향상시키는 데 실용적인 방향을 규명하는 것.

제안 방법

• 모델은 환자의 과거 입원 기록을 역사 벡터 표현으로 사용하며, 각 요소는 ICD-10 분류 체계의 진단 관련 그룹(DRG) 코드에 대응한다.
• 이 방법은 역사 벡터에 포함된 과거 입원의 순서를 바탕으로 향후 입원의 확률을 계산하기 위해 조건부 마르코프 체인 모델(CMC)을 사용한다.
• 주요 DRG 코드는 데이터셋에서의 빈도를 기준으로 선별되며, 포함된 코드 수를 10에서 200까지 다양하게 조정하여 확장성 평가를 수행한다.
• 성능 평가는 CMC 곡선 아래 면적(AUC)과 정확한 입원 유형의 평균 예측 순위를 사용한다.
• 모델의 성능은 데이터 코퍼스 전체 입원의 61%, 91%, 98% 커버리지 수준에서 평가된다.
• 예측 순위 히스토GRAM을 분석하여 성능 저하가 특정 DRG 코드에 집중되어 있는지, 아니면 균일하게 분포되어 있는지 평가한다.

실험 결과

연구 질문

• RQ1 모델의 예측 정확도가 원래의 30개 코드를 초월해 명시적으로 모델링하는 입원 유형의 수가 증가함에 따라 유의미하게 떨어지는가?
• RQ2 모든 입원의 최대 98%를 커버할 때까지 정밀도(예측하는 질환 수)와 정확도 사이의 상충 관계가 실용적으로 타당한가?
• RQ3 성능 저하가 있다면, 어떤 질병 유형에 더 큰 영향을 미치는가, 아니면 균일하게 분포되어 있는가?
• RQ4 주요 DRG 코드의 수가 증가함에 따라 정확한 입원 유형의 평균 예측 순위는 어떻게 변화하는가?
• RQ5 더 높은 분류 수준의 DRG 코드를 사용하거나 입원 역사에 시간 정보를 통합했을 때 모델은 높은 성능을 유지할 수 있는가?

주요 결과

• 모델은 데이터 코퍼스 전체 입원의 98%를 커버하도록 명시적으로 모델링하는 DRG 코드 수를 늘려도 높은 예측 정확도를 유지한다.
• 61%에서 98% 커버리지로 이동할 때 CMC 곡선 아래 면적(AUC)이 단지 0.8% 감소하여 성능 저하가 최소한임을 시사한다.
• 정확한 입원 유형의 평균 예측 순위는 10개의 주요 코드가 있을 때 약 1.5에서 200개의 주요 코드가 있을 때 7.3으로 증가하여 순위 정밀도에 유의미한 감소가 있지만 치명적인 수준은 아님을 나타낸다.
• 성능 저하가 다양한 DRG 코드 간에 균일하게 분포되어 있어, 환자의 특정 질환과 관계없이 일관된 예측 신뢰성을 보임을 시사한다.
• 희귀하지만 임상적으로 중요한 조건을 포함시켰을 때 성능 저하가 작고 일관되므로 모델은 이에 대해 거의 민감하지 않다.
• 결과는 원저자들의 주장, 즉 모델이 잘 확장되어 실세계 임상 적용에 적합한 광범위한 질병 커버리지를 제공할 수 있음을 뒷받침한다.