[논문 리뷰] Multi-Time Attention Networks for Irregularly Sampled Time Series

Satya Narayan Shukla, Benjamin M. Marlin|PubMed|2021. 01. 25.

Machine Learning in Healthcare참고 문헌 35인용 수 23

한 줄 요약

이 논문은 다변량, 희소성 및 비정규적으로 샘플링된 시계열 데이터를 모델링하기 위해 연속 시간 임베딩을 학습하고 가중치를 학습할 수 있는 어텐션 메커니즘을 사용하는 딥러닝 프레임워크인 다중시간 주의망(mTANs)을 제안한다. 이 방법은 보간 및 분류 작업에서 최신 기술(SOTA) 수준 또는 그 이상의 성능을 달성하면서도 기존의 ODE 기반 기준보다 100배 이상 빠른 속도로 학습이 가능하다.

ABSTRACT

Irregular sampling occurs in many time series modeling applications where it presents a significant challenge to standard deep learning models. This work is motivated by the analysis of physiological time series data in electronic health records, which are sparse, irregularly sampled, and multivariate. In this paper, we propose a new deep learning framework for this setting that we call <i>Multi-Time Attention Networks</i>. Multi-Time Attention Networks learn an embedding of continuous time values and use an attention mechanism to produce a fixed-length representation of a time series containing a variable number of observations. We investigate the performance of this framework on interpolation and classification tasks using multiple datasets. Our results show that the proposed approach performs as well or better than a range of baseline and recently proposed models while offering significantly faster training times than current state-of-the-art methods.

연구 동기 및 목표

• 표준 딥러닝 모델이 누락되거나 시간이 일치하지 않는 관측치로 인해 실패하는 의료 및 기타 분야에서 다변량, 희소성, 비정규적으로 샘플링된 시계열 데이터를 모델링하는 데 도전하는 것.
• 고정된 유사도 커널 대신 학습 가능한 어텐션 메커니즘을 사용해 개선된 시간 표현 학습을 위한 융통성 있고 연속 시간 기반의 딥러닝 프레임워크를 개발하는 것.
• 비정규 시계열 데이터에서 보간 및 분류 작업을 지원하는 변동형 오토인코더(VAE) 프레임워크를 사용해 엔드 투 엔드 학습을 가능하게 하는 것.
• 기존 최신 기술(ODE 기반) 모델에 비해 성능을 유지하거나 향상시키면서도 훨씬 빠른 학습 시간을 확보하는 것.
• 지역 시계열 구조를 포착하는 데 효과적인 시간에 따라 분포된 잠재 표현과 학습 가능한 시간 임베딩의 효과를 입증하는 것.

제안 방법

• mTAN 프레임워크는 기준 시간 포인트를 쿼리로, 관측된 시간 포인트를 키로 사용해 동적 시간 어텐션 가중치를 계산하는 쿼리-키 어텐션 메커니즘을 사용한다.
• 고정된 위치 인코딩을 대체하기 위해 데이터 기반의 시간 표현을 가능하게 하는 학습 가능한 연속 시간 임베딩 레이어를 활용한다.
• VAE 목적함수를 사용한 인코더-디코더 아키텍처를 사용한다: 인코더는 기준 포인트 기반의 고정 길이 잠재 표현으로 비정규 시계열을 매핑하고, 디코더는 원본 시계열을 재구성한다.
• 어텐션 메커니즘은 고정 커널(예: RBF) 대신 학습 중에 데이터 기반으로 학습되는 미분 가능한 유사도 함수를 사용한다.
• 시간을 연속적으로 모델링하고 고정 간격을 가정하지 않고 데이터에서 유사도를 학습함으로써 변수 간 부분 관측치 정렬을 지원한다.
• 확률적 추론을 사용한 확률적 경량 최적화를 통해 확률적 경량 최적화를 사용해 엔드 투 엔드 학습을 가능하게 하며, 시간 임베딩과 어텐션 파rameter를 동시에 학습한다.

실험 결과

연구 질문

• RQ1 학습 가능한 어텐션 메커니즘이 고정 커널 대비 비정규적으로 샘플링된 다변량 시계열 데이터의 모델링 성능을 향상시키는가?
• RQ2 데이터 기반으로 시간 임베딩과 시간 유사도를 학습하면 고정 인코딩 대비 보간 및 분류 작업 성능이 향상되는가?
• RQ3 mTAN 프레임워크는 ODE 기반 모델에 비해 훨씬 빠른 학습 속도를 확보하면서도 최신 기술 성능을 달성할 수 있는가?
• RQ4 시간에 따라 분포된 잠재 표현의 사용은 지역 시계열 구조를 포착하는 데 얼마나 효과적인가?
• RQ5 mTAN 아키텍처는 PhysioNet, MIMIC-III, Human Activity와 같은 다양한 데이터셋에 잘 일반화되는가?

주요 결과

• mTAND-Full 모델은 PhysioNet 데이터셋에서 AUC 0.858 ± 0.004를 기록하여 모든 RNN 기반 기준 모델을 능가했으며, ODE 기반 모델과도 유사하거나 뛰어난 성능을 보였다.
• MIMIC-III 사망 예측 작업에서 mTAND-Full은 AUC 0.8544 ± 0.0024를 기록했으며, 최고의 ODE 기반 모델들(L-ODE-ODE 등)과 유사한 성능을 보였지만 훨씬 더 빠른 학습 속도를 확보했다.
• mTAND-Full 모델은 1에포크당 0.2분만에 학습되었으며, 이는 L-ODE-ODE(1에포크당 22.0분)보다 100배 이상, ODE-RNN(1에포크당 16.5분)보다는 85배 이상 빠른 속도였다.
• 절단 실험 결과, 학습 가능한 시간 임베딩은 고정된 위치 인코딩 대비 분류 정확도를 최대 1.5% 향상시켰다.
• 학습 가능한 어텐션 커널을 사용한 모델가 고정된 RBF 커널을 사용한 모델보다 우수한 성능을 보여, 데이터 기반의 유사도 학습의 이점을 입증했다.
• Human Activity 데이터셋에서 mTAND-Full은 정확도 0.910 ± 0.002를 기록했으며, 모든 RNN 및 IP-Net 기준 모델을 크게 능가했다.