[논문 리뷰] Hybrid Gradient Boosting Trees and Neural Networks for Forecasting Operating Room Data

Hugh Chen, Scott Lundberg외 1명|arXiv (Cornell University)|2018. 01. 23.

Machine Learning in Healthcare참고 문헌 10인용 수 8

한 줄 요약

이 논문은 수술실에서 저산소혈증을 예측하기 위해 단변량 Long Short-Term Memory (LSTM) 네트워크를 통한 지도 학습 기반 표현 학습과 기울기 부스팅 트리(XGBoost)를 융합한 하이브리드 모델을 제안한다. 개별 시간 시리즈 특징(예: SaO2, ETCO2)에 대해 LSTM을 훈련시켜 잠재 표현을 추출하고, 이러한 표현을 처리된 특징(예: 지수 이동 평균)과 함께 XGBoost에 입력함으로써, 24.8%의 PR-AUC를 달성한다. 이는 단독으로 사용된 각 모델보다 유의하게 높은 성능을 보이며, LSTM이 장기적 의존성을 효과적으로 포착하고 XGBoost가 다양한 정적 및 동적 특징을 효율적으로 통합함을 시사한다.

ABSTRACT

Time series data constitutes a distinct and growing problem in machine learning. As the corpus of time series data grows larger, deep models that simultaneously learn features and classify with these features can be intractable or suboptimal. In this paper, we present feature learning via long short term memory (LSTM) networks and prediction via gradient boosting trees (XGB). Focusing on the consequential setting of electronic health record data, we predict the occurrence of hypoxemia five minutes into the future based on past features. We make two observations: 1) long short term memory networks are effective at capturing long term dependencies based on a single feature and 2) gradient boosting trees are capable of tractably combining a large number of features including static features like height and weight. With these observations in mind, we generate features by performing "supervised" representation learning with LSTM networks. Augmenting the original XGB model with these features gives significantly better performance than either individual method.

연구 동기 및 목표

• 기존 모델이 장기적 의존성과 특징 통합 문제를 해결하기 어려운 점을 보완하여 수술실에서의 저산소혈증 예측 성능을 향상시키기 위한 기계 학습 기반 접근 개선.
• LSTM을 통한 지도 학습 기반 표현 학습이 시간 시리즈 생리적 데이터로부터 의미 있는 잠재 특징을 추출할 수 있는지 탐색.
• 기울기 부스팅 트리가 LSTM에서 유도된 표현과 전통적인 시간 시리즈 처리 특징을 효과적으로 통합하여 예측 성능 향상을 이룰 수 있는지 평가.
• LSTM에서 유도된 특징이 기존 통계적 특징(예: 지수 이동 평균(EMAs) 및 지수 이동 분산(EMVs)))보다 추가적인 예측 능력을 제공하는지 확인.
• 오픈소스 도구와 모듈식 구성 요소 통합을 활용해 일반화 가능하고 접근성이 높은 생물의학적 시간 시리즈 예측 프레임워크 개발.

제안 방법

• 개별 시간 시리즈 특징(예: SaO2, ETCO2)에 대해 단변량 LSTM 네트워크를 훈련시켜 지도 학습 기반 표현 학습을 통해 잠재 표현을 학습.
• 훈련된 LSTM의 두 번째로 끝난 층에서 200차원의 밀집 특징 벡터를 추출하여 시간 패턴과 장기적 의존성을 표현.
• 다양한 알파 값으로 지수 이동 평균(EMAs)과 지수 이동 분산(EMVs)을 사용해 시간 시리즈 데이터를 사전 처리하여 강건성 확보.
• LSTM에서 유도된 은닉 특징과 처리된 시간 시리즈 특징(EMAs/EMVs), 정적 환자 특징(예: 체중, 연령, ASA 코드)을 결합하여 최종 XGBoost 모델 구성.
• 로지스틱 목적 함수, 학습률 0.02, 최대 깊이 6, 서브샘플링 비율 0.5로 XGBoost를 훈련시키며 정밀도-재현율 곡선(AUC) 최적화.
• 훈련 순서를 무작위로 설정하고 LSTM 훈련 중 과적합 방지를 위해 드롭아웃 및 순환 드롭아웃 적용.

실험 결과

연구 질문

• RQ1 단일 생리적 시간 시리즈 특징(예: SaO2)에서 단변량 LSTM 네트워크가 임상 예측을 위해 장기적 시간 의존성을 효과적으로 학습할 수 있는가?
• RQ2 LSTM에서 유도된 잠재 표현과 전통적인 시간 시리즈 특징(예: EMAs/EMVs)을 융합하면, 각각 단독으로 사용할 경우보다 저산소혈증 예측 성능이 향상되는가?
• RQ3 정적 환자 특징(예: 체중, 연령)은 예측 성능에 어느 정도 기여하며, 기울기 부스팅 트리가 이를 효과적으로 통합할 수 있는가?
• RQ4 LSTM에서 유도된 은닉 특징은 기존의 표준 통계적 특징(예: EMAs 및 EMVs)이 포괄하지 못하는 예측 정보를 제공하는가?
• RQ5 딥 러닝과 트리 기반 앙상블 방법을 융합한 하이브리드 모델이 임상 환경에서 해석 가능하고 접근성이 높으면서도 우수한 성능을 달성할 수 있는가?

주요 결과

• 처리된 특징(EMAs/EMVs)과 LSTM에서 유도된 은닉 특징을 모두 포함한 XGBoost 기반 하이브리드 모델이 테스트 시 PR-AUC 0.24836을 기록하여 테스트된 모든 모델 중 최고 성능을 보였다.
• 처리된 특징(40개 특징)만을 사용한 XGBoost 모델은 PR-AUC 0.22999를 기록했으며, 이는 LSTM 단독 모델(0.20580)보다 유의미하게 높은 성능이었으며, XGBoost의 특징 상호작용 및 통합 능력이 뛰어남을 시사한다.
• LSTM에서 유도된 200차원 은닉 특징은 최종 LSTM 출력 확률만을 사용한 경우보다 XGBoost 성능 향상에 기여했으며, 이는 중간층에서 더 rich한 표현이 포착되었음을 의미한다.
• LSTM 출력 확률만을 사용한 모델보다 처리된 특징과 LSTM 은닉 특징을 모두 포함한 모델(모델 5)이 성능이 뛰어나, 은닉 표현이 최종 예측 헤드보다 더 많은 예측 정보를 담고 있음을 입증했다.
• SaO2를 처리된 특징에서 제외하더라도 LSTM 은닉 특징을 포함한 모델는 여전히 성능 향상을 보였으며(PR-AUC 0.24678), 이는 LSTM 특징이 주요 시간 시리즈 신호 외의 정보도 포착하고 있음을 시사한다.
• 이 방법은 계산적으로 효율적이며, 가장 느린 XGBoost 모델도 약 4시간 내에 훈련이 가능했으며, Keras와 XGBoost와 같은 오픈소스 도구를 활용해 일반화 가능하고 접근성이 높다.