[논문 리뷰] Predicting Adolescent Suicide Attempts with Neural Networks

Harish S. Bhat, Sidra Goldman‐Mellor|arXiv (Cornell University)|2017. 11. 28.

Suicide and Self-Harm Studies참고 문헌 15인용 수 17

한 줄 요약

이 연구는 2006~2009년 캘리포니아의 522,056명의 청소년 전자건강기록(EHR)을 사용하여 심층신경망을 개발하여 2010년 자살시도를 예측하였다. 이전에 정신건강 장애 기준이 없이 전체 모집단에 적용된 최초의 연구로, 5회 이상의 응급실/입원 방문 기록이 있는 환자 대상으로 민감도 0.703, 특이도 0.980, AUC 0.958의 성능을 달성하였다.

ABSTRACT

Though suicide is a major public health problem in the US, machine learning methods are not commonly used to predict an individual's risk of attempting/committing suicide. In the present work, starting with an anonymized collection of electronic health records for 522,056 unique, California-resident adolescents, we develop neural network models to predict suicide attempts. We frame the problem as a binary classification problem in which we use a patient's data from 2006-2009 to predict either the presence (1) or absence (0) of a suicide attempt in 2010. After addressing issues such as severely imbalanced classes and the variable length of a patient's history, we build neural networks with depths varying from two to eight hidden layers. For test set observations where we have at least five ED/hospital visits' worth of data on a patient, our depth-4 model achieves a sensitivity of 0.703, specificity of 0.980, and AUC of 0.958.

연구 동기 및 목표

• 실제 전자건강기록(EHR)을 기반으로 기계학습을 활용해 청소년의 자살시도 예측을 향상시키는 것.
• EHR 데이터에서 클래스 불균형과 변동 길이의 환자 기록을 고려한 자살 위험 모델링을 위한 것.
• 이전 정신건강 진단이 없는 청소년 전반에 적용 가능한 확장성 있고 일반화 가능한 모델을 개발하는 것.
• 이 임상 예측 과제에서 전통적 통계 및 머신러닝 모델보다 심층신경망이 뛰어난 대안이 될 수 있는지 평가하는 것.

제안 방법

• 2006~2010년 캘리포니아 응급실 및 입원 기록을 이용하여 10~19세 청소년 522,056명의 익명화된 데이터를 사용하였다.
• 이를 바이너리 분류 문제로 설정: 2010년 자살시도가 있었을 경우(코드 E950.0–E959.x) 1, 그렇지 않으면 0으로 정의하였다.
• 범주형 예측변수에 대해 원-핫 인코딩을 적용하고, 방문 수준의 입력을 위해 CCS 진단 코드를 처리하였다.
• 입력값을 정규화하고 드롭아웃을 적용하여 정규화를 수행한 2, 4, 8층의 심층 순환신경망을 훈련시켰다.
• 이전 방문 횟수 및 이전 진단 코드(예: 자기상해, 정서장애) 기반으로 테스트 세트를 전략적으로 분류하여 모델 성능을 평가하였다.
• 표준 평가 지표를 사용: 민감도, 특이도, 정밀도, AUC이며, 양성 클래스는 자살시도로 정의하였다.

실험 결과

연구 질문

• RQ1 심층신경망은 사전 정신건강 제한 없이 표준 EHR 데이터만으로 청소년의 자살시도를 효과적으로 예측할 수 있는가?
• RQ2 훈련 윈도우 내에서 환자의 의료 기록 길이가 모델 성능에 어떻게 영향을 미치는가?
• RQ3 자기상해 또는 정서장애와 같은 고위험 진단 코드를 기반으로 조건화했을 때 모델 성능은 어떻게 되는가?
• RQ4 신경망이 이 맥락에서 기존 머신러닝 및 임상의 기반 예측보다 뛰어난 성능을 보일 수 있는가?
• RQ5 클래스 불균형과 변동하는 방문 빈도가 자살 위험 예측에서 모델 일반화에 어떤 영향을 미치는가?

주요 결과

• 2006~2009년 동안 5회 이상의 응급실/병원 방문 기록이 있는 환자 대상으로 깊이 4의 신경망은 민감도 0.703, 특이도 0.980, AUC 0.958의 성능을 달성하였다.
• 모델 성능은 더 많은 역사적 데이터를 기반으로 했을 때 크게 향상되었으며, 5회 이상 방문 기록이 있는 환자에서 AUC가 0.958로 상승하였다.
• 이전 자기상해(코드 CCS 662) 또는 정신병성 장애(코드 CCS 659) 기록이 있었던 환자에서는 민감도(0.841), 정밀도(0.714)가 상당히 높게 나타났다.
• 깊이 8의 모델는 가장 높은 민감도(0.735)를 보였지만 특이도는 낮아(0.965) 민감도와 정밀도 사이의 상충관계를 보였다.
• 이전 머신러닝 방법(예: Tran 등 [25])보다 AUC 및 균형 잡힌 지표에서 뛰어난 성능을 보였지만, 민감도나 정밀도에서 Walsh 등 [26]의 성능을 넘어서지는 못했다.
• 본 연구는 텍스트 기록이나 정신건강 평가 없이도 대규모 실생활 EHR 데이터에서 심층학습이 높은 예측 성능을 달성할 수 있음을 입증하였다.