[논문 리뷰] A Survey on Principles, Models and Methods for Learning from Irregularly Sampled Time Series: From Discretization to Attention and Invariance.

Satya Narayan Shukla, Benjamin M. Marlin|arXiv (Cornell University)|2020. 11. 30.

Time Series Analysis and Forecasting참고 문헌 81인용 수 8

한 줄 요약

이 종합 검토는 비정규적으로 샘플링된 시계열 데이터로부터 학습하기 위한 원리, 모델, 방법을 분류함으로써 모델링 원천—예를 들어 이산화, 보간, 재귀, 어텐션, 구조적 불변성 등—에 따라 정리하여 다양한 기계학습 작업에서의 강점, 약점, 설계적 트레이드오프를 종합적으로 분 析한다.

ABSTRACT

Irregularly sampled time series data arise naturally in many application domains including biology, ecology, climate science, astronomy, and health. Such data represent fundamental challenges to many classical models from machine learning and statistics due to the presence of non-uniform intervals between observations. However, there has been significant progress within the machine learning community over the last decade on developing specialized models and architectures for learning from irregularly sampled univariate and multivariate time series data. In this survey, we first describe several axes along which approaches differ including what data representations they are based on, what modeling primitives they leverage to deal with the fundamental problem of irregular sampling, and what inference tasks they are designed to perform. We then survey the recent literature organized primarily along the axis of modeling primitives. We describe approaches based on temporal discretization, interpolation, recurrence, attention, and structural invariance. We discuss similarities and differences between approaches and highlight primary strengths and weaknesses.

연구 동기 및 목표

• 비정규 시계열 데이터를 모델링하는 데 사용되는 다양한 모델링 원천에 따라 체계적으로 접근 방식을 분류하고 비교하기.
• 시계열 데이터에서 비균일 샘플링 간격이 초래하는 핵심 과제를 규명하기.
• 최근 이 분야의 모델들이 취하는 설계 선택, 가정, 성능 트레이드오프를 분석하기.
• 비정규 시계열 데이터 학습 분야의 최신 기술에 대한 통합 참조 제공하기.

제안 방법

• 데이터 표현, 모델링 원천, 추론 작업 기반으로 방법을 분류한다.
• 비정규 데이터를 정규 격자로 변환하기 위해 시간 간격 이산화를 사용하는 접근 방식을 검토한다.
• 학습된 또는 히우리스틱 전략을 사용해 누락된 값을 추정하는 보간 기반 방법을 분석한다.
• 시간 인식 메커니즘을 갖춘 순환 아키텍처를 통해 비정규 순서를 처리하는 재귀 기반 모델을 검토한다.
• 상대적 또는 절대적 시간 임bedding을 사용해 비정규 간격의 시간 포인트에 주의를 기울이는 어텐션 기반 모델을 조사한다.
• 시간 왜곡과 샘플링 비정규성에 대해 동치성 또는 불변성을 강제하는 구조적 불변성 접근 방식을 평가한다.

실험 결과

연구 질문

• RQ1 다양한 모델링 원천은 비균일 샘플링 간격이라는 근본적 과제를 어떻게 다루는가?
• RQ2 이산화, 보간, 재귀, 어텐션, 불변성 기반 방법 간의 상대적 강점과 한계는 무엇인가?
• RQ3 어떻게 어텐션 메커니즘은 표준 RNN이나 트랜스포머와 비교해 비정규 시간 간격에 적응하는가?
• RQ4 불변성 및 동치성 원칙은 비정규 시계열 모델링에서 강건성 향상에 어떻게 기여하는가?
• RQ5 계산 효율성, 표현력, 일반화 능력 간의 주요 설계 트레이드오프는 각 방법에서 어떻게 나타나는가?

주요 결과

• 이산화 방법은 단순하지만 버킷 선택에 민감하고 시간 동역학을 왜곡할 수 있다.
• 보간 기반 접근 방식은 성능 향상을 이룰 수 있지만, 보간 방법의 품질과 인덕티브 바이어스에 크게 의존한다.
• 시간 인식 게이트를 갖춘 순환 모델은 전망이 있긴 하지만, 매우 비정규적인 시퀀스에서 장거리 의존성을 다루는 데 어려움을 겪는다.
• 시간 임베딩을 통합한 어텐션 메커니즘은 표준 어텐션보다 비정규 데이터에서 더 효과적으로 장거리 의존성을 모델링함으로써 우수한 성능을 보인다.
• 구조적 불변성 접근 방식은 시간 왜곡과 샘플링 변동성에 대해 더 높은 강건성을 제공하며, 특히 데이터가 적은 환경에서 유의미한 성능 향상을 이룬다.
• 어느 한 방법도 모든 작업에서 우월하지 않으며, 성능은 데이터 특성, 시퀀스 길이, 희소성에 따라 달라진다.