[논문 리뷰] Deep Learning Models to Predict Pediatric Asthma Emergency Department Visits

Xiao Wang, Zhijie Wang외 3명|arXiv (Cornell University)|2019. 07. 25.

Machine Learning in Healthcare참고 문헌 32인용 수 7

한 줄 요약

이 연구는 메디케이드 보험 청구 데이터를 사용하여 3개월 이내 소아 천식 관련 응급실(ED) 내원을 예측하기 위해 실전에 투입된 라소 로지스틱 회귀 모델과 비교하여 딥러닝 모델, 특히 인공신경망(ANN)의 성능을 평가한다. ANN은 라소 모델보다 略적으로 뛰어난 성능을 보였다(AUC: 0.845 vs. 0.842)로서, 딥러닝이 행정 청구 데이터에서 유사한 예측 성능를 달성할 수 있음을 시사하지만, 임상 적용에 있어서 해석 가능성의 문제는 여전히 주요 과제로 남아 있다.

ABSTRACT

Pediatric asthma is the most prevalent chronic childhood illness, afflicting about 6.2 million children in the United States. However, asthma could be better managed by identifying and avoiding triggers, educating about medications and proper disease management strategies. This research utilizes deep learning methodologies to predict asthma-related emergency department (ED) visit within 3 months using Medicaid claims data. We compare prediction results against traditional statistical classification model - penalized Lasso logistic regression, which we trained and have deployed since 2015. The results have indicated that deep learning model Artificial Neural Networks (ANN) slightly outperforms (with AUC = 0.845) the Lasso logistic regression (with AUC = 0.842). The reason may come from the nonlinear nature of ANN.

연구 동기 및 목표

• 기존 임상 현장에서 사용 중인 라소 로지스틱 회귀 모델과 비교해 딥러닝 모델이 소아 천식 관련 응급실(ED) 내원 예측 정확도를 향상시킬 수 있는지 평가하는 것.
• 18세 이하 메디케이드 가입 아동의 행정 청구 데이터를 활용해 인공신경망(ANN)의 성능을 평가하는 것.
• AUC, F1 점수, 정밀도-재현율 곡선 아래 면적 등 표준 지표를 사용해 모델 성능을 비교하는 것.
• 딥러닝이 고위험 소아 천식 환자를 선별해 사전 임상 간 interventions을 시행할 잠재력을 탐색하는 것.
• 실제 의료 환경에서 전통적 통계 모델과 비교해 딥러닝 모델의 임상적 관련성과 해석 가능성 여부를 평가하는 것.

제안 방법

• 연구는 텍사스주 달라스 소재 파크랜드 커뮤니티 헬스플랜(PCHP)의 메디케이드 가입 소아 환자에 대한 후향적 코hort를 사용하였다.
• 특징으로는 임상, 의료 서비스 이용 및 사회경제적 변수를 포함한 12개월 행정 청구 데이터에서 추출한 변수들을 사용하였다.
• 두 개의 은닉층을 가진 인공신경망(ANN)을 사용하였으며, Leaky ReLU 활성화 함수를 적용하고, 시그모이드 출력을 사용하였다. Adam 옵timizer와 이진 교차 엔트로피 손실 함수를 사용해 학습하였다.
• 과적합 방지를 위해 드롭아웃 정규화(비율 = 0.5)를 적용하였고, 하이퍼파ram터는 격자 탐색을 통해 최적화 하였다.
• 데이터는 70% 학습, 30% 테스트로 분할하였으며, 클래스 불균형 문제를 해결하기 위해 리샘플링 기법을 적용하였다.
• 모델 성능 평가에는 ROC AUC, PR AUC, 재현율, 정밀도, F1 점수를 사용하였고, 위험도 범주는 상위 10%를 고위험군, 10~20%를 중간위험군, 나머지를 저위험군으로 정의하였다.

실험 결과

연구 질문

• RQ1 인공신경망(ANN)과 같은 딥러닝 모델이 청구 데이터를 활용해 기존의 라소 로지스틱 회귀 모델보다 소아 천식 관련 응급실 내원 예측 성능을 뛰어나게 할 수 있는가?
• RQ2 AUC, F1 점수, 정밀도-재현율 균형 측면에서 ANN의 예측 성능가 라소 로지스틱 회귀 모델과 비교해 어떻게 다를 것인가?
• RQ3 데이터 불균형이 모델 성능에 미치는 영향은 무엇이며, 리샘플링 및 드롭아웃 기법이 일반화 성능에 어떤 영향을 미치는가?
• RQ4 고위험 임상 기준(예: 상위 10% 위험도 점수)이 선형 모델과 비교해 딥러닝 모델에 적용될 때 여전히 유효한가?
• RQ5 해석 가능성에 결함이 있는 딥러닝 모델이 임상 워크플로우에 효과적으로 통합될 수 있는가? 신뢰도 향상과 보급을 위해 어떤 개선이 필요한가?

주요 결과

• ANN 모델은 AUC 0.845를 기록하여, AUC 0.842를 기록한 라소 로지스틱 회귀 모델보다 略적으로 뛰어난 성능을 보였다.
• 두 모델 모두 정밀도가 유사하게 0.123를 기록했지만, 라소 모델은 더 높은 재현율(0.565 vs. 0.510)을 보여, 참 양성 사례를 더 잘 탐지하는 것으로 나타났다.
• F1 점수는 ANN 모델이 라소 모델(0.202)보다 약간 낮은 0.198을 기록하여, 정밀도-재현율 균형에서의 상충 관계를 보였다.
• 정밀도-재현율 곡선 아래 면적(PR AUC)은 ANN 모델이 라소 모델보다 약간 높은 0.174 vs. 0.170를 기록하여, 불균형 조건 하에서 양성 클래스에 대해 더 나은 성능을 보였다.
• 미미한 성능 향상에도 불구하고, 라소 모델은 임상적으로 유의미하며 딥러닝 모델에 비해 열등하지 않으며, 더 강한 해석 가능성성을 지녔다.
• 연구는 딥러닝이 통계적으로는 약간의 우위를 점하고 있지만, 임상 적용을 위해서는 해석 가능성 향상과 이해 당사자 신뢰 확보가 필요하다고 결론 내렸다.