[論文レビュー] Deep Learning for Multivariate Time Series Imputation: A Survey

Jun Wang, Wenjie Du+7 more|arXiv (Cornell University)|Feb 6, 2024

Time Series Analysis and Forecasting被引用数 17

ひとこと要約

欠落値補完のための深層学習手法の総合的な分類と実証評価。多変量時系列データに対して、予測的アプローチと生成的アプローチを比較し、複数のデータセットと下流タスクを横断して評価する。

ABSTRACT

Missing values are ubiquitous in multivariate time series (MTS) data, posing significant challenges for accurate analysis and downstream applications. In recent years, deep learning-based methods have successfully handled missing data by leveraging complex temporal dependencies and learned data distributions. In this survey, we provide a comprehensive summary of deep learning approaches for multivariate time series imputation (MTSI) tasks. We propose a novel taxonomy that categorizes existing methods based on two key perspectives: imputation uncertainty and neural network architecture. Furthermore, we summarize existing MTSI toolkits with a particular emphasis on the PyPOTS Ecosystem, which provides an integrated and standardized foundation for MTSI research. Finally, we discuss key challenges and future research directions, which give insight for further MTSI research. This survey aims to serve as a valuable resource for researchers and practitioners in the field of time series analysis and missing data imputation tasks.A well-maintained MTSI paper and tool list are available at https://github.com/WenjieDu/Awesome_Imputation.

研究の動機と目的

• 二軸で深層 MSTI 手法を分類する：補完の不確実性（予測的 vs 生成的）とニューラルネットワークアーキテクチャ（RNN、CNN、GNN、アテンション、VAE、GAN、拡散モデル）。
• 補完品質が下流タスクに与える影響を評価し、実データセットでの実験を通じて実践的なガイドラインを提供する。
• 各手法カテゴリの長所・制限を要約し、MSTI における未解決の研究課題を明らかにする。

提案手法

• 補完の不確実性とニューラルネットワークアーキテクチャに基づく分類体系を提案する。
• 手法を整理・分類する：RNNベース、CNNベース、GNNベース、アテンションベース、VAEベース、GANベース、拡散ベース。
• 予測的（決定論的）補完と生成的（分布ベース）補完の学習目的を定義する。
• PyPOTS ツールキットを用いた経験的実験を実施し、補完性能と下流タスクの利得を比較する。
• 現実世界のデータセット3つと複数の補完手法によるベンチマークを提供する。
• 計算複雑性と手法選択の実践的ガイドラインを議論する。

実験結果

リサーチクエスチョン

• RQ1 多変量時系列データにおける補完のための主な深層学習アプローチは何であり、不確実性の扱いとアーキテクチャの点でどのように異なるか？
• RQ2 予測的補完と生成的補完の手法は、さまざまなデータセットと下流タスクでどのように性能を発揮するか？
• RQ3 精度・効率・スケーラビリティの観点から、MSTI 手法間の現実的なトレードオフは何か？

主な発見

Method	Air MAE	Air MSE	PhysioNet2012 MAE	PhysioNet2012 MSE	ETTm1 MAE	ETTm1 MSE
LOCF	0.206	0.279	0.411	0.569	0.135	0.072
M-RNN	0.524	0.648	0.674	0.864	0.651	1.074
GP-VAE	0.280	0.266	0.400	0.433	0.290	0.178
BRITS	0.142	0.129	0.246	0.325	0.124	0.046
USGAN	0.141	0.132	0.250	0.306	0.127	0.048
CSDI	0.105	0.153	0.211	0.260	0.157	0.292
TimesNet	0.159	0.172	0.266	0.272	0.113	0.027
Transformer	0.163	0.160	0.209	0.225	0.133	0.035
SAITS	0.133	0.128	0.202	0.218	0.115	0.030

• すべてのデータセットにおいて単一の手法が優勢というわけではなく、データセットと欠測パターンにより性能が変動する。
• 高欠測率データ（PhysioNet2012）では、深層学習補完法が単純なベースラインを上回り、LOCF を特に上回る。
• 生成モデル（VAE/GAN/拡散）は不確実性の取り扱いに長けるが、訓練の安定性と計算コストは手法ごとに異なる。
• 特定の手法（例：SAITS、TimesNet、CSDI）は、補完データを用いた分類で下流タスクの利得を強く達成する。
• 下流の分類器性能（PR-AUC、ROC-AUC）は補完品質の向上から恩恵を受け、PhysioNet2012 で SAITS がゲインを示す例がある。
• 本研究は実務的な複雑さの比較を提供し、下流タスクを組み込んだ統一的な学習目的の必要性を再確認する。