[論文レビュー] A Survey on Principles, Models and Methods for Learning from Irregularly Sampled Time Series

Satya Narayan Shukla, Benjamin M. Marlin|arXiv (Cornell University)|Nov 30, 2020

Time Series Analysis and Forecasting参考文献 81被引用数 21

ひとこと要約

本調査では、不規則にサンプリングされた時系列データに対する機械学習手法について包括的な分析を提示し、データ表現、モデリング素子（例：再帰、アテンション、ODE、補間）、学習タスクの観点からアプローチを分類している。分類、予測、平滑化のタスクにおいて、ODEベースおよび補間ベースのモデルが最先端の性能を示している一方で、深層学習モデルにおける予測と不確実性の定量化の分野はまだ未発展であることが明らかになった。

ABSTRACT

Irregularly sampled time series data arise naturally in many application domains including biology, ecology, climate science, astronomy, and health. Such data represent fundamental challenges to many classical models from machine learning and statistics due to the presence of non-uniform intervals between observations. However, there has been significant progress within the machine learning community over the last decade on developing specialized models and architectures for learning from irregularly sampled univariate and multivariate time series data. In this survey, we first describe several axes along which approaches to learning from irregularly sampled time series differ including what data representations they are based on, what modeling primitives they leverage to deal with the fundamental problem of irregular sampling, and what inference tasks they are designed to perform. We then survey the recent literature organized primarily along the axis of modeling primitives. We describe approaches based on temporal discretization, interpolation, recurrence, attention and structural invariance. We discuss similarities and differences between approaches and highlight primary strengths and weaknesses.

研究の動機と目的

• データ表現、モデリング素子、推論タスクの観点から、不規則にサンプリングされた時系列からの学習アプローチを体系的に分類すること。
• 再帰、アテンション、構造的不変性、補間などの主要なモデリング素子を、さまざまな学習目的において比較・同定すること。
• 非一様なサンプリング、変動する観測回数、ずれが生じる多次元時系列データを扱う際の、各手法クラスの強みと弱みを評価すること。
• 特に予測と不確実性の定量化の分野が現在の研究において未開拓であることを浮き彫りにすること。
• アテンションや構造的不変性といった、有望ではあるが未だ十分に活用されていない素子を特定し、今後の研究のためのロードマップを提示すること。

提案手法

• データ表現（系列ベース、ベクトルベース、集合ベース）、モデリング素子（例：再帰、アテンション、ODE、補間）、学習タスク（分類、予測、補間、平滑化、予測）の3軸に沿って手法を分類する。
• 不規則なサンプリングに対処するためのコアなモデリング素子として、離散的RNN、ODE-RNN、ニューラルCDE、およびカーネルベース補間をレビューする。
• 再帰的およびODEベースのモデルにおける非一様な時間間隔のモデリングを改善するため、時刻または時間差を入力特徴量として用いる手法を分析する。
• 逐次処理とは異なり、並列処理を可能にし、学習効率を向上させるアテンション機構と構造的不変性を代替手段として評価する。
• 速度、精度、不確実性伝搬の観点から、決定的補間法（例：カーネルスムージング）と確率的モデル（例：ガウス過程）を比較する。
• 標準的な指標（例：正解率、平均二乗誤差）を用いてモデル性能を評価するが、大多数の深層学習モデルが不確実性の報告を行っておらず、特に速度と柔軟性を犠牲にして不確実性伝搬を放棄する決定的モデルでは顕著である。

実験結果

リサーチクエスチョン

• RQ1 再帰、アテンション、ODEなどの異なるモデリング素子は、時系列における非一様なサンプリングや観測回数の変動といった課題をどのように処理するか？
• RQ2 分類、予測、補間などのタスクにおいて、ODEベースのモデルと離散的RNNの相対的な強みと弱みは何か？
• RQ3 なぜ決定的補間ベースのモデルが一部のタスクでRNN や ODE よりも優れた性能を示しているのか？また、不確実性の定量化においてどのようなトレードオフを負っているのか？
• RQ4 アテンションや構造的不変性に基づくモデルは、逐次モデルと比較して、学習速度と性能をどの程度向上させているのか？
• RQ5 なぜ不規則にサンプリングされた時系列からの予測は、分類や補間と比べてまだ未発展のままであるのか？

主な発見

• ODEベースのモデルは、連続時間の定式化のおかげで、分類、予測、補間の複数のタスクにおいて離散的RNNを上回っている。
• 補間ベースの手法、特にカーネルスムージングは、分類および予測タスクで最先端の性能を達成しており、ガウス過程やODEモデルと比較して著しく高速に学習できる。
• 不完全なベクトル値観測を扱い、時間経過に伴う観測を組み込む点で、ニューラルCDEはODE-RNNを上回る利点を示している。
• 並列処理の可能性は持つが、アテンションや構造的不変性に基づくモデルは、精度においてまだODEや補間ベースのモデルに到達していないが、将来的な改善の余地を秘めている。
• 大多数のモデルが期待されるキャリブレーション誤差を報告せず、予測の不確実性を生成していない。特に、速度と柔軟性を犠牲にして不確実性伝搬を放棄する決定的深層学習モデルでは顕著である。
• 不規則にサンプリングされた時系列からの予測は、依然としてほとんど未解決の問題であり、このタスクに適用された手法は少なく、性能ベンチマークも限られている。