[논문 리뷰] Forecasting adverse surgical events using self-supervised transfer learning for physiological signals

Hugh Chen, Scott Lundberg외 3명|arXiv (Cornell University)|2020. 02. 12.

Machine Learning in Healthcare인용 수 6

한 줄 요약

이 논문은 부정적 외과 합병증 예측을 향상시키기 위해 생리학적 시계열에서 깊이 있는 임bedding을 추출하는 자기지도 전이 학습 프레임워크인 PHASE를 소개한다. PHASE는 한 데이터셋에서 훈련된 이식 가능한 임bedding을 사용하여 알려지지 않은 외과 또는 중환자실 데이터에 적용함으로써, 원시 데이터에 대한 LSTMs나 수작업 특징에 대한 기울기 부스팅 트리 모델보다 높은 정확도와 낮은 계산 비용을 달성한다.

ABSTRACT

Hundreds of millions of surgical procedures take place annually across the world, which generate a prevalent type of electronic health record (EHR) data comprising time series physiological signals. Here, we present a transferable embedding method (i.e., a method to transform time series signals into input features for predictive machine learning models) named PHASE (PHysiologicAl Signal Embeddings) that enables us to more accurately forecast adverse surgical outcomes based on physiological signals. We evaluate PHASE on minute-by-minute EHR data of more than 50,000 surgeries from two operating room (OR) datasets and patient stays in an intensive care unit (ICU) dataset. PHASE outperforms other state-of-the-art approaches, such as long-short term memory networks trained on raw data and gradient boosted trees trained on handcrafted features, in predicting five distinct outcomes: hypoxemia, hypocapnia, hypotension, hypertension, and phenylephrine administration. In a transfer learning setting where we train embedding models in one dataset then embed signals and predict adverse events in unseen data, PHASE achieves significantly higher prediction accuracy at lower computational cost compared to conventional approaches. Finally, given the importance of understanding models in clinical applications we demonstrate that PHASE is explainable and validate our predictive models using local feature attribution methods.

연구 동기 및 목표

• 작은 및 중간 규모 병원에서의 부족한 데이터와 계산 자원 문제를 해결하기 위해 부정적 외과 결과를 예측하는 데 도전한다.
• 기관 간에 민감한 전자 의료 기록(EHR) 데이터 공유를 방해하는 데이터 프라이버시 장벽을 극복한다.
• 생리학적 신호를 사용하여 부정적 외과 합병증을 예측하기 위한 이식 가능하고 설명 가능하며 계산적으로 효율적인 방법을 개발한다.
• 원시 환자 데이터 대신 훈련된 임bedding 모델을 공유함으로써 기관 간 협력을 가능하게 한다.
• 특히 낮은 데이터 환경에서 원시 신호나 수작업 특징을 사용하는 전통적 접근보다 예측 성능을 향상시킨다.

제안 방법

• 부정적 사건의 레이블이 필요 없이 일반화 가능한 임bedding을 학습하기 위해 생리학적 신호에 대해 자기지도 순환 신경망(LSTM)을 훈련한다.
• 훈련된 LSTM의 최종 은닉층을 각 60초 창의 생리학적 데이터에 대한 200차원의 임bedding 벡터로 사용한다.
• 원천 병원 데이터셋(예: OR1 또는 ICU_M)에서 훈련된 상류 임bedding 모델을 사용하여, 재학습 없이도 대상 병원 데이터셋(예: OR0)에 적용하는 방식으로 전이 학습을 수행한다.
• 임bedded 특징과 정적 환자 데이터를 결합하여 최종 예측을 위해 하류 기울기 부스팅 트리(GBT) 모델에 입력한다. 이 모델은 다섯 가지 부정적 결과를 예측한다.
• 대상 도메인 LSTM을 원천 도메인 모델로 초기화하고 대상 데이터에서 계속 훈련함으로써 미세 조정을 구현한다.
• 모든 15개의 생리학적 신호의 향후 값을 동시에 예측하기 위해 다중 신호 LSTM을 공동으로 훈련하여 신호 간 공유 표현을 학습한다.

실험 결과

연구 질문

• RQ1 원시 또는 수작업 특징에 기반한 모델과 비교해 생리학적 신호에 대해 자기지도 학습을 수행함으로써 부정적 외과 합병증 예측 정확도가 향상되는가?
• RQ2 한 병원에서 사전 훈련된 임bedding 모델을 사용한 전이 학습이 다른 병원의 알려지지 않은 데이터에 대한 예측 성능을 얼마나 향상시키는가?
• RQ3 PHASE 프레임워크가 자원이 제한된 기관에서 하류 예측에 대한 계산 비용을 줄이는가?
• RQ4 Shapley 값과 같은 局면 특징 기여도 방법을 사용하여 모델의 예측을 효과적으로 설명할 수 있는가?
• RQ5 다중 신호에 대해 단일 LSTM에서 임베딩을 함께 훈련하는 것과 비교해 PHASE의 성능은 어떠한가?

주요 결과

• PHASE는 원시 데이터에 대한 LSTMs와 원시 또는 수작업 특징에 대한 GBT 모델보다 다섯 가지 부정적 결과(저산소증, 저과분압증, 저혈압, 고혈압, 페닐에프린 투여) 예측에서 뚜렷한 성능 향상을 보였다.
• 원천 데이터셋(예: OR1)에서 훈련된 임bedding 모델을 다른 대상 데이터셋(예: OR0)에 적용함으로써 전이 학습이 이루어졌을 때, 대상 데이터에 대한 액세스 없이도 전통적 접근보다 더 높은 예측 정확도를 달성했다.
• 사전 훈련된 임bedding을 사용함으로써 대상 병원에서의 하류 예측에 대한 계산 비용이 감소했으며, 대상 기관의 데이터에서 단지 최종 GBT 모델만을 훈련하면 되기 때문이다.
• PHASE는 두 개의 수술실(OR) 데이터셋과 중환자실(ICU) 데이터셋을 포함한 다양한 데이터셋 간에 강력한 일반화 성능을 보였으며, 일관된 성능 향상이 있었다.
• Shapley 값과 같은 국소 특징 기여도 방법을 사용하여 임상적으로 해석 가능한 통찰을 제공했으며, 개별 예측에 가장 기여한 생리학적 신호를 확인할 수 있었다.
• 공동 훈련된 다중 신호 임bedding 모델은 개별 신호에 대해 자기지도 학습을 수행한 모델보다 성능이 열 劣했다. 이는 신호별 사전 훈련이 하류 예측을 위한 더 나은 표현을 제공한다는 것을 시사한다.