[논문 리뷰] Self-supervised Transformer for Multivariate Clinical Time-Series with Missing Values.

Sindhu Tipirneni, Chandan K. Reddy|arXiv (Cornell University)|2021. 07. 29.

Machine Learning in Healthcare참고 문헌 18인용 수 6

한 줄 요약

STraTS는 다변량 임상 시간열을 위한 자기지도 학습 Transformer 모델로, 데이터를 관측 삼중항으로 간주하고 연속적 값 임bedding을 사용하여 이산화 없이 결측치와 비정규 간격을 처리한다. 이는 저표본 데이터 설정에서도 최신 기술 수준의 성능을 달성하며, 특징 중요도를 해석 가능한 주의 메커니즘을 포함한다.

ABSTRACT

Multivariate time-series (MVTS) data are frequently observed in critical care settings and are typically characterized by excessive missingness and irregular time intervals. Existing approaches for learning representations in this domain handle such issues by either aggregation or imputation of values, which in-turn suppresses the fine-grained information and adds undesirable noise/overhead into the machine learning model. To tackle this challenge, we propose STraTS (Self-supervised Transformer for TimeSeries) model which bypasses these pitfalls by treating time-series as a set of observation triplets instead of using the traditional dense matrix representation. It employs a novel Continuous Value Embedding (CVE) technique to encode continuous time and variable values without the need for discretization. It is composed of a Transformer component with Multi-head attention layers which enables it to learn contextual triplet embeddings while avoiding problems of recurrence and vanishing gradients that occur in recurrent architectures. Many healthcare datasets also suffer from the limited availability of labeled data. Our model utilizes self-supervision by leveraging unlabeled data to learn better representations by performing time-series forecasting as a self-supervision task. Experiments on real-world multivariate clinical time-series benchmark datasets show that STraTS shows better prediction performance than state-of-the-art methods for mortality prediction, especially when labeled data is limited. Finally, we also present an interpretable version of STraTS which can identify important measurements in the time-series data.

연구 동기 및 목표

• 중증 관리 환경에서 결측치와 비정규 샘플링이 발생하는 다변량 임상 시간열 데이터의 과제를 해결한다.
• 집계나 보간에 의존하는 기존 방법의 한계를 극복하여 세분화된 정보를 억압하고 노이즈를 유발하는 문제를 해결한다.
• 이산화 없이도 시간적 및 변수별 세부 정보를 유지하는 표현 학습 프레임워크를 개발한다.
• 라벨이 부족한 상황에서 성능을 향상시키기 위해 시간열 예측을 통한 자기지도 학습을 활용한다.
• 예측에 기여하는 핵심 측정값을 식별함으로써 모델의 해석 가능성을 보장한다.

제안 방법

• 밀도 있는 행렬이 아닌 관측 삼중항(시간, 변수, 값)의 집합으로 다변량 시간열을 표현하여 희소성과 비정규 샘플링을 유지한다.
• 이산화 없이 연속적인 시간과 변수 값을 인코딩할 수 있는 연속적 값 임베딩(CVE)을 도입하여 엔드 투 엔드 학습을 가능하게 한다.
• 다중 헤드 주의를 사용한 Transformer 인코더를 활용해 삼중항 시퀀스에서 문맥 임베딩을 학습하며, 기울기 소실 및 반복 문제를 피한다.
• 시간열 예측을 자기지도 학습 태스크로 활용해 레이블이 없는 데이터로 사전 훈련함으로써 표현 품질을 향상시킨다.
• 주의 메커니즘을 통합하여 시간열 내에서 중요한 측정값을 강조함으로써 해석 가능성을 확보한다.
• 피니튜닝 중 진짜 레이블과 예측을 일치시키기 위해 대비 학습 목표를 사용해 모델을 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 삼중항 기반 표현 학습 접근법이 기존의 밀도 있는 행렬 방법보다 결측치와 비정규 다변량 시간열을 더 잘 다룰 수 있는가?
• RQ2 연속적 값 임베딩이 이산화 없이도 연속적인 시간과 변수 값을 효과적으로 인코딩하여 세분화된 시간 역동성을 유지하는가?
• RQ3 예측을 통한 자기지도 학습이 레이블이 제한된 임상 데이터에서 모델 성능을 어떻게 향상시키는가?
• RQ4 STraTS의 주의 메커니즘이 임상적으로 관련 있는 측정값을 식별함으로써 의미 있는 해석 가능성을 제공하는가?
• RQ5 실제 임상 벤치마크에서 STraTS는 최신 기술 수준의 모델들과 비교해 사망 예측 성능에서 어떻게 성과를 내는가?

주요 결과

• STraTS는 실제 다변량 임상 시간열 벤치마크에서 사망 예측 성능에서 최신 기술 수준을 달성한다.
• 자기지도 학습으로 인해 레이블 데이터가 부족한 상황에서도 기존 방법보다 뚜렷한 성능 향상을 보이며, 특히 레이블이 적은 환경에서 유의미한 개선을 이룬다.
• 연속적 값 임베딩은 이산화 없이도 연속적인 시간과 변수 값을 정확히 인코딩하여 시간 해상도를 유지한다.
• 자기지도 학습을 통한 예측 사전 훈련 단계는 표현 품질을 향상시켜 후속 작업 성능을 향상시킨다.
• 해석 가능한 주의 메커니즘이 임상적으로 관련 있는 측정값을 성공적으로 식별하여 모델의 투명성을 향상시켰다.
• 비정규적이고 결측치가 많은 데이터셋에서 STraTS는 순환 및 주의 기반 베이스라인보다 정확도와 내구성 면에서 뛰어난 성능을 보였다.