[論文レビュー] TSI-Bench: Benchmarking Time Series Imputation

Wenjie Du, Jun Wang+13 more|arXiv (Cornell University)|Jun 18, 2024

Time Series Analysis and Forecasting被引用数 5

ひとこと要約

TSI-Benchは、深層学習を用いた時系列補完の最初の総合ベンチマークスイートであり、8つのデータセットと様々な欠損パターンにわたって28モデルを評価し、モデル選択と下流タスクへの影響を指針づける。

ABSTRACT

Effective imputation is a crucial preprocessing step for time series analysis. Despite the development of numerous deep learning algorithms for time series imputation, the community lacks standardized and comprehensive benchmark platforms to effectively evaluate imputation performance across different settings. Moreover, although many deep learning forecasting algorithms have demonstrated excellent performance, whether their modelling achievements can be transferred to time series imputation tasks remains unexplored. To bridge these gaps, we develop TSI-Bench, the first (to our knowledge) comprehensive benchmark suite for time series imputation utilizing deep learning techniques. The TSI-Bench pipeline standardizes experimental settings to enable fair evaluation of imputation algorithms and identification of meaningful insights into the influence of domain-appropriate missing rates and patterns on model performance. Furthermore, TSI-Bench innovatively provides a systematic paradigm to tailor time series forecasting algorithms for imputation purposes. Our extensive study across 34,804 experiments, 28 algorithms, and 8 datasets with diverse missingness scenarios demonstrates TSI-Bench's effectiveness in diverse downstream tasks and potential to unlock future directions in time series imputation research and analysis. All source code and experiment logs are released at https://github.com/WenjieDu/AwesomeImputation.

研究の動機と目的

• データセット・パターン・欠損率を横断した公正な比較を可能にするため、時系列補完手法の評価を標準化する。
• 異なる欠損パターンと欠損率が補完性能に与える影響を評価し、領域特有の要件を特定する。
• 予測バックボーンを補完タスクへ適応させることが下流への影響とともに効果的かを検討する。
• 再現可能なベンチマーキングと公正なハイパーパラメータ調整を可能にするオープンソースエコシステムを提供する。
• 補完品質が分類・回帰・予測といった下流タスクに与える影響を調査する。

提案手法

• データ読み込み・欠損シミュレーション・前処理・補完・下流分析の標準化パイプライン（TSI-Bench）をPyPOTSエコシステム上に構築・運用する。
• 異なる次元性と欠損パターンを持つ、空気質・交通・電力・医療を跨ぐ8つの実世界データセットを用いる。
• Transformer、RNN、CNN、GNN、MLP、VAE/GAN/拡散モデルなど予測・生成モデルを含む28の補完・予測モデルを評価し、従来のベースラインとの比較を行う。
• 3つの欠損パターン（point、subsequence、block）と複数の欠損率（例：10%、50%、90%）を適用してロバスト性を評価する。
• 予測バックボーンを補完タスクへ適応させ、タスク間の転移可能性と性能を検討する。
• MAE、MSE、およびMREを用いて補完性能を報告し、推論時間とパラメータ数を併記する。ハイパーパラメータ調整はPyPOTSとNNIを用いる。

実験結果

リサーチクエスチョン

• RQ1 異なる欠損パターン（point、subsequence、block）と欠損率が、多様なデータセットにおける補完性能にどのような影響を与えるか。
• RQ2 補完に適用された場合、予測バックボーンは実世界の設定で従来の補完モデルを上回るか。
• RQ3 補完品質は分類・回帰・予測といった下流タスクにどのような影響を与えるか。
• RQ4 標準化されたベンチマークエコシステムは、公平な比較を促進し、ドメイン別補完問題のモデル選択を導くか。
• RQ5 データセットの特性と欠損シナリオに基づくモデル選択の実践的ガイドラインは何か。

主な発見

• すべての設定で単一のモデルが支配的ではなく、データセット・欠損パターン・欠損率によって性能は大きく異なる。
• 補完バックボーンとして適用された場合、予測アーキテクチャは効果的で、時には従来の補完モデルを上回る。
• 欠損データを高品質な補完で埋めると、下流タスクの性能（例：分類・回帰）が向上する。
• ドメイン情報に基づくデータ処理と現実的な欠損シミュレーションは、信頼できる補完ベンチマークにとって不可欠である。
• このベンチマークは、精度とともにモデル調整・データ前処理・計算効率の重要性を示している。