[논문 리뷰] A Survey on Principles, Models and Methods for Learning from Irregularly Sampled Time Series

Satya Narayan Shukla, Benjamin M. Marlin|arXiv (Cornell University)|2020. 11. 30.

Time Series Analysis and Forecasting참고 문헌 81인용 수 21

한 줄 요약

이 종합적 서베이는 비정규 샘플링된 시계열 자료를 위한 기계학습 방법에 대한 체계적인 분석을 제시하며, 자료 표현 방식, 모델링 원리(예: 재귀, 어텐션, 미분방정식, 보간), 학습 과제 유형으로 접근 방식을 분류한다. 분류, 예측, 스무딩 과제에서 ODE 기반 및 보간 기반 모델이 최신 기술로 나타나며, 딥러닝 모델에서 예측 및 불확실성 측정의 부족함이 드러나 있다.

ABSTRACT

Irregularly sampled time series data arise naturally in many application domains including biology, ecology, climate science, astronomy, and health. Such data represent fundamental challenges to many classical models from machine learning and statistics due to the presence of non-uniform intervals between observations. However, there has been significant progress within the machine learning community over the last decade on developing specialized models and architectures for learning from irregularly sampled univariate and multivariate time series data. In this survey, we first describe several axes along which approaches to learning from irregularly sampled time series differ including what data representations they are based on, what modeling primitives they leverage to deal with the fundamental problem of irregular sampling, and what inference tasks they are designed to perform. We then survey the recent literature organized primarily along the axis of modeling primitives. We describe approaches based on temporal discretization, interpolation, recurrence, attention and structural invariance. We discuss similarities and differences between approaches and highlight primary strengths and weaknesses.

연구 동기 및 목표

• 자료 표현, 모델링 원리, 추론 과제를 기반으로 비정규 샘플링된 시계열 자료로부터 학습하는 접근 방식을 체계적으로 분류하기.
• 재귀, 어텐션, 구조적 불변성, 보간 등 핵심 모델링 원리들을 다양한 학습 목표 간에 비교·분석하기.
• 비균일 샘플링, 변동 관측 횟수, 다변량 시계열의 비동기화 문제를 다루는 데 각 방법 유형의 강점과 한계 평가하기.
• 현재 연구에서 다루지 않은 분야, 특히 예측 및 불확실성 측정 문제의 중요성을 부각하기.
• 어텐션 및 구조적 불변성과 같은 잠재력은 있지만 아직 활용되지 않은 모델링 원리들을 중심으로 향후 연구 방향도 제시하기.

제안 방법

• 세 가지 축을 따라 방법을 분류: 자료 표현 방식(시리즈 기반, 벡터 기반, 집합 기반), 모델링 원리(예: 재귀, 어텐션, 미분방정식, 보간), 학습 과제(분류, 예측, 보간, 스무딩, 예측)
• 비정규 샘플링을 다루기 위한 핵심 모델링 원리로 이산 RNN, ODE-RNN, 신경 CDE, 커널 기반 보간을 검토
• 재귀 및 ODE 기반 모델에서 비균일 간격을 더 잘 모델링하기 위해 시간 타임스탬프 또는 시간 간격을 입력 특징으로 사용하는 방식 분석
• 순차적 처리의 대안으로 어텐션 메커니즘과 구조적 불변성을 분석하여 병렬 처리를 가능하게 하고 학습 효율성을 향상시킴
• 정적 보간 방법(예: 커널 스무딩)과 확률적 모델(예: 가우시안 프로세스) 간의 속도, 정확도, 불확실성 전파 측면에서 비교 평가
• 정확도 및 평균 제곱오차 등의 표준 지표를 사용해 모델 성능 평가하며, 대부분의 딥러닝 모델이 불확실성 보고를 하지 않는 점을 지적

실험 결과

연구 질문

• RQ1 재귀, 어텐션, 미분방정식 등 다양한 모델링 원리들이 비균일 샘플링과 변동 관측 횟수 문제를 어떻게 다루는가?
• RQ2 분류, 예측, 보간 등의 과제에서 ODE 기반 모델과 이산 RNN 간의 상대적 강점과 약점은 무엇인가?
• RQ3 왜 일부 과제에서 정적 보간 기반 모델이 RNN 및 ODE 모델을 능가하는가? 이는 불확실성 측정 측면에서 어떤 상충 관계를 수반하는가?
• RQ4 어떤 정도로 어텐션 및 구조적 불변성 기반 모델이 순차적 모델 대비 학습 속도와 성능을 향상시키는가?
• RQ5 왜 비정규 샘플링된 시계열 자료에서의 예측은 분류나 보간과 같은 다른 과제들에 비해 아직 다루어지지 않은 문제인가?

주요 결과

• ODE 기반 모델은 연속 시간 설정 덕분에 분류, 예측, 보간 등의 다수 과제에서 이산 RNN을 능가한다.
• 보간 기반 방법, 특히 커널 스무딩은 분류 및 예측 과제에서 최신 기술 성능을 기록하며, 가우시안 프로세스나 ODE 모델보다 훨씬 빠른 학습 속도를 보인다.
• 신경 CDE는 완전하지 않은 벡터 값 관측치를 다루는 데 ODE-RNN보다 유리하며, 시간에 따라 관측치를 통합하는 데도 유리하다.
• 병렬 처리 잠재력이 있음에도 불구하고 어 schemes 및 구조적 불변성 기반 모델은 아직 정확도에서 ODE나 보간 기반 모델을 능가하지 못했지만, 향후 향상 가능성이 있음.
• 대부분의 모델이 예측의 캘리브레이션 오차나 예측 불확실성을 보고하지 않으며, 특히 속도와 유연성 확보를 위해 불확실성 전파를 기꺼이 기부하는 정적 딥러닝 모델에서 이 문제가 심각하다.
• 비정규 샘플링된 시계열 자료에서의 예측은 여전히 대부분 열려 있는 문제이며, 이 과제에 적용된 방법은 적고, 성능 벤치마크도 제한되어 있다.