[論文レビュー] A Survey on Principles, Models and Methods for Learning from Irregularly Sampled Time Series: From Discretization to Attention and Invariance.

Satya Narayan Shukla, Benjamin M. Marlin|arXiv (Cornell University)|Nov 30, 2020

Time Series Analysis and Forecasting参考文献 81被引用数 8

ひとこと要約

本調査は、離散化、補間、再帰、アテンション、構造的不変性などのモデリング原素に沿って、不規則にサンプリングされた時系列からの学習のための原則、モデル、手法を体系的に分類することで、多様な機械学習タスクにおけるそれらの長所・短所および設計上のトレードオフを包括的に分析している。

ABSTRACT

Irregularly sampled time series data arise naturally in many application domains including biology, ecology, climate science, astronomy, and health. Such data represent fundamental challenges to many classical models from machine learning and statistics due to the presence of non-uniform intervals between observations. However, there has been significant progress within the machine learning community over the last decade on developing specialized models and architectures for learning from irregularly sampled univariate and multivariate time series data. In this survey, we first describe several axes along which approaches differ including what data representations they are based on, what modeling primitives they leverage to deal with the fundamental problem of irregular sampling, and what inference tasks they are designed to perform. We then survey the recent literature organized primarily along the axis of modeling primitives. We describe approaches based on temporal discretization, interpolation, recurrence, attention, and structural invariance. We discuss similarities and differences between approaches and highlight primary strengths and weaknesses.

研究の動機と目的

• 不規則にサンプリングされた時系列をモデリングするアプローチを、さまざまなモデリング原素に沿って体系的に分類・比較すること。
• 時系列データにおける非一様なサンプリング間隔が引き起こす主な課題を特定すること。
• この分野における最近のモデルの設計選択、仮定、パフォーマンス上のトレードオフを分析すること。
• 不規則な時系列学習分野における最新の知見を研究者に統合されたリファレンスとして提供すること。

提案手法

• データ表現、モデリング原素、推論タスクに基づいて手法を分類する。
• 不規則なデータを正規化グリッドに変換するための時系列離散化を用いたアプローチをレビューする。
• 学習されたまたはヒューリスティックな戦略を用いて欠損値を推定する補間ベースの手法を分析する。
• 時間に依存するメカニズムを備えた再帰的アーキテクチャを用いて不規則な系列を処理する再帰ベースのモデルを検討する。
• 相対的または絶対的な時間埋め込みを用いて、不規則に間隔が空いた時系列ポイントに注目するアテンションベースのモデルを調査する。
• 時間のゆがみやサンプリングの不規則性に対して等変性または不変性を強制する構造的不変性アプローチを評価する。

実験結果

リサーチクエスチョン

• RQ1 異なるモデリング原素は、非一様なサンプリング間隔という根本的課題をどのように扱っているか？
• RQ2 離散化、補間、再帰、アテンション、不変性ベースの手法の相対的な長所と限界は何か？
• RQ3 アテンションメカニズムは、標準的なRNNやTransformersと比較して、不規則な時間間隔にどのように適応しているか？
• RQ4 不変性および等変性の原則は、不規則な時系列モデリングにおけるロバストネスをどのように向上させるか？
• RQ5 計算効率、表現力、一般化性能の間の主な設計上のトレードオフは、各手法でどのように現れるか？

主な発見

• 離散化手法は単純であるが、ビンの選択に敏感であり、時間的ダイナミクスを歪めやすい。
• 補間ベースのアプローチはパフォーマンスを向上させられるが、補間手法の品質とインダクティブバイアスに強く依存する。
• 時間に依存するゲートを備えた再帰的モデルは有望ではあるが、極めて不規則な系列では長距離依存性を扱うのが困難である。
• 時間埋め込みを組み込んだアテンションメカニズムは、標準アテンションを上回り、長距離依存性をより効果的にモデル化できる。
• 構造的不変性アプローチは、時間のゆがみやサンプリングの変動に対してロバスト性を向上させ、特にデータが少ない状況で顕著である。
• どの手法もすべてのタスクで優位に立つわけではない。パフォーマンスはデータの特性、系列長、スパarsityに依存する。