[논문 리뷰] Learning to Exploit Invariances in Clinical Time-Series Data using Sequence Transformer Networks

Jeeheh Oh, Jiaxuan Wang외 1명|PubMed|2018. 08. 21.

Machine Learning in Healthcare참고 문헌 23인용 수 18

한 줄 요약

이 논문은 임상 시간열 데이터에서 임의의 시간 이동, 진폭 스케일링, 오프셋 조정과 같은 작업별 불변성을 학습할 수 있는 엔드 투 엔드 학습 가능한 아키텍처인 Sequence Transformer Networks를 제안한다. 비관련 변동성을 줄이는 데이터 기반 변환을 적용함으로써, 입원 중 사망 예측 성능을 향상시켰으며, 기준 CNN의 0.838과 비교해 AUROC가 0.851을 기록했다.

ABSTRACT

Recently, researchers have started applying convolutional neural networks (CNNs) with one-dimensional convolutions to clinical tasks involving time-series data. This is due, in part, to their computational efficiency, relative to recurrent neural networks and their ability to efficiently exploit certain temporal invariances, (<i>e.g</i>., phase invariance). However, it is well-established that clinical data may exhibit many other types of invariances (<i>e.g</i>., scaling). While preprocessing techniques, (<i>e.g</i>., dynamic time warping) may successfully transform and align inputs, their use often requires one to identify the types of invariances in advance. In contrast, we propose the use of Sequence Transformer Networks, an end-to-end trainable architecture that learns to identify and account for invariances in clinical time-series data. Applied to the task of predicting in-hospital mortality, our proposed approach achieves an improvement in the area under the receiver operating characteristic curve (AUROC) relative to a baseline CNN (AUROC=0.851 vs. AUROC=0.838). Our results suggest that a variety of valuable invariances can be learned directly from the data.

연구 동기 및 목표

• 임상 시간열 데이터에서 사전에 알려지지 않은 작업별 불변성을 활용하는 데 도전하는 것 — 이는 일반적으로 사전 처리하기 어려운 문제이다.
• 시간, 진폭, 오프셋 불변성을 데이터에서 직접 학습하는 엔드 투 엔드 학습 가능한 프레임워크를 개발하는 것 — 수작업으로 설계된 사전 처리에 의존하지 않도록 하기 위함이다.
• 특히 48시간 ICU 데이터를 사용한 입원 중 사망 예측과 같은 임상 시간열 작업에서 예측 성능을 향상시키는 것.
• 학습된 불변성이 내부 클래스 유사성 증가와 모델 일반화 향상에 기여하는지 조사하는 것.

제안 방법

• 이 방법은 입력 및 작업에 따라 변하는 변환을 시간열 입력에 대해 학습하는 시퀀스 토크 시퀀스 변환 모듈을 사용한다.
• 변환에는 시간 압축 및 이동(학습 가능한 매개변수 θ₁, θ₀를 통해), 그리고 크기 스케일링 및 오프셋(φ₁, φ₀를 통해)이 포함되며, 환자별로 적용된다.
• 유사한 임상 결과를 가진 신호들을 정렬하기 위해 대trastive 손실을 사용해 엔드 투 엔드로 학습되며, 내부 클래스 분산을 감소시킨다.
• 이러한 학습된 변환은 1D-CNN 기반 아키텍처에 통합되어 시간 패턴과 불변성을 함께 학습할 수 있도록 한다.
• 기본 1D-CNN 기준과 비교하기 위해 MIMIC-III 데이터셋에서 AUROC와 AUPR를 지표로 사용해 평가한다.
• 환자 및 특성 간에 학습된 변환의 방향과 크기를 분석하기 위해 시각화 기법을 사용한다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 학습 가능한 모델이 ICU 시간열 데이터에서 시간 이동 및 진폭 스케일링과 같은 임상적으로 관련 있는 불변성을 학습할 수 있는가?
• RQ2 학습된 변환이 동일한 결과를 가진 환자 간의 내부 클래스 유사성에 어떤 영향을 미치는가?
• RQ3 이러한 학습된 불변성이 입원 중 사망 예측 성능 향상에 어느 정도 기여하는가?
• RQ4 모델이 학습한 변환은 알려진 생리학적 기준(예: 혈압, 심박수)과 일치하는가?

주요 결과

• Sequence Transformer Network는 입원 중 사망 예측에서 AUROC 0.851을 기록하여 기준 1D-CNN(AUROC = 0.838)을 능가했다.
• 모델은 내부 클래스 유클리드 쌍별 거리 감소를 보였다: 양성군(28.2 vs. 34.9), 음성군(26.3 vs. 31.8) — 이는 동일한 결과를 가진 환자 간의 유사성 증가를 시사한다.
• 시각화 결과, 네트워크는 평균적으로 신호를 압축하고 시간적으로 뒤로 이동시키며, 크기를 낮추는 경향을 보였다. 이는 생리학적 기대와 일치한다.
• 모델은 환자 간 일관된 변환 경향을 학습했으며, 크기 변환은 신호 분산을 감소시키고 정렬을 향상시켰다.
• 시간 이동 및 진폭 스케일링과 같은 불변성이 사전 지식 없이 데이터에서 효과적으로 학습될 수 있음을 입증했다.