[논문 리뷰] Disease phenotyping using deep learning: A diabetes case study

Sina Rashidian, Janos Hajagos외 10명|arXiv (Cornell University)|2018. 11. 28.

Machine Learning in Healthcare참고 문헌 10인용 수 4

한 줄 요약

이 연구는 임상 코드러의 결정을 모방하는 딥러닝 모델을 제안하여 EHR 데이터를 활용한 당뇨병 페노타이핑을 향상시키며, 연령, 성별, 검사 결과, 약물 정보 및 이전 진단 코드를 포함한다. 모델은 ICD 코드 예측에서 높은 정확도를 달성했으며, 전체 당뇨병 환자 중 9.07%가 잘못된 또는 누락된 코드를 가졌음을 밝혀냈고, 전문가 검토 결과 모델이 고신뢰도 불일치 사례에서 코드러를 능가하는 것으로 확인되었다.

ABSTRACT

Characterization of a patient clinical phenotype is central to biomedical informatics. ICD codes, assigned to inpatient encounters by coders, is important for population health and cohort discovery when clinical information is limited. While ICD codes are assigned to patients by professionals trained and certified in coding there is substantial variability in coding. We present a methodology that uses deep learning methods to model coder decision making and that predicts ICD codes. Our approach predicts codes based on demographics, lab results, and medications, as well as codes from previous encounters. We are able to predict existing codes with high accuracy for all three of the test cases we investigated: diabetes, acute renal failure, and chronic kidney disease. We employed a panel of clinicians, in a blinded manner, to assess ground truth and compared the predictions of coders, model and clinicians. When disparities between the model prediction and coder assigned codes were reviewed, our model outperformed coder assigned ICD codes.

연구 동기 및 목표

• 표준 EHR 데이터 요소를 사용하여 딥러닝을 활용해 당뇨병 ICD 코드링 정확도를 향상시키기 위해 코드러의 의사결정 과정을 모델링함으로써 코드링 오류를 해결하고자 한다.
• 질병 특화 기능 엔지니어링이 필요 없이 일반화 가능한 데이터 기반의 질병 페노타이핑 방법을 개발하고자 한다.
• 모델 성능을 전문의가 검토한 불일치 사례와 비교하여 정확성과 신뢰성을 평가하고자 한다.
• 모델 예측과 전문가 검증을 기반으로 전 세계적으로 EHR 내 당뇨병 코딩 오류 비율을 추정하고자 한다.
• 다양한 의료기관에서 모델의 확장성과 일반화 능력을 테스트하고자 한다.

제안 방법

• 다층 퍼셉트론 딥 네트워크 모델이 OHDSI 공통 데이터 모델에 매핑된 익명화된 EHR 데이터를 기반으로 훈련되었으며, 연령, 성별, 검사 결과, 약물 정보 및 이전 진단 코드 정보를 특징으로 사용하였다.
• 특징은 양성 당뇨병 환자에서 최소 5% 이상 존재하는 경우에만 유지되어 총 특징 수를 13,139개에서 966개로 감소시켜 희소성 문제를 완화시켰다.
• 이전 진료 기록의 진단 코드는 이진 벡터로 집계되어 과거 질환 부담을 표현하였으며, 이는 RNN이 필요 없이 시간적 패턴을 학습할 수 있도록 하였다.
• 모델 출력은 시그모이드 활성화 함수를 사용하여 당뇨병 발생 가능성 확률(p)을 산출하였으며, 이는 불일치 사례를 신뢰도 수준에 따라 분류하는 데 사용되었다.
• 전문의는 더블 블라인드 방식으로 120건의 불일치 사례를 검토하였으며, 진단 존재 여부와 자신의 판단에 대한 자신감 수준을 평가하였다.
• 모델은 11개 기관의 데이터로 재학습되어 일반화 능력을 평가하였으며, 각 기관의 독립된 테스트 세트에서 성능을 평가하였다.

실험 결과

연구 질문

• RQ1 표준 EHR 데이터 요소만을 사용하여 딥러닝 모델이 당료병 ICD 코드링 결정을 정확하게 재현할 수 있는가?
• RQ2 모델의 예측 신뢰도는 전문의가 평가한 실제 임상적 당뇨병 발생 가능성과 어떻게 관련이 있는가?
• RQ3 실제 EHR 데이터 내 당뇨병 코드링 오류 비율은 어느 정도이며, 이는 누락된 코드와 잘못된 코드로 어떻게 분포되는가?
• RQ4 다양한 의료기관의 데이터로 훈련된 단일 딥러닝 모델이 다른 의료기관에서도 효과적으로 일반화될 수 있는가?
• RQ5 모델이 코드러와 불일치하는 경우가 실제로 코딩 오류를 반영하는가? 전문가 검증을 통해 확인하고자 한다.

주요 결과

• 단일 기관의 데이터로 훈련 및 테스트한 경우 모델은 F1 스코어 0.80을 기록하여 당뇨병 ICD 코드 예측에서 뛰어난 성능을 보였다.
• 고신뢰도 불일치 사례에서 전문가 검토 40건 중 35건이 모델의 판단을 지지하였으며, 이는 모델이 높은 신뢰도를 가질수록 코드러가 오류를 범할 가능성이 높다는 것을 시사한다.
• 모델은 전체 진료 기록 중 9.07%에서 잘못된 또는 누락된 당뇨병 코드가 존재한다고 예측하였으며, 이 중 5.68%는 누락되었고 3.39%는 잘못 기록된 것으로 나타났다.
• 모델이 예측한 당뇨병 발생 확률은 전문의가 설정한 질병 발생 가능성과 밀접하게 일치하여, 다양한 신뢰도 간격에서의 캘리브레이션 정확도가 검증되었다.
• 11개 기관의 데이터로 훈련한 모델은 기관 143에서 F1 스코어 0.79를 기록하여 우수한 일반화 능력과 기관 특화 배치 효과에 대한 강건성을 입증하였다.
• 전문가 검토 결과, 모델의 신뢰도 점수는 각 불일치 그룹 내 진짜 당뇨병 유병률을 정확하게 반영하고 있어 신뢰할 수 있는 불확실성 추정이 가능함을 확인하였다.