[論文レビュー] Long-Term Missing Value Imputation for Time Series Data Using Deep Neural Networks

Jangho Park, Juliane Müller+6 more|arXiv (Cornell University)|Feb 25, 2022

Hydrological Forecasting Using AI被引用数 9

ひとこと要約

本稿では、環境データを対象として、導関数を用いないハイパーパrameter最適化を用いた多層パーセプトロン（MLP）を用いた深層学習的手法を提案し、長期にわたる欠損値を補完する。この手法は、事前に補完された値を順次用いて欠損値を予測するもので、特に3か月から3年までの大きな欠損ギャップにおいて、従来のRベースの手法（ImputeTS、mtsd）よりも非線形的傾向やダイナミクスをよりよく捉える。

ABSTRACT

We present an approach that uses a deep learning model, in particular, a MultiLayer Perceptron (MLP), for estimating the missing values of a variable in multivariate time series data. We focus on filling a long continuous gap (e.g., multiple months of missing daily observations) rather than on individual randomly missing observations. Our proposed gap filling algorithm uses an automated method for determining the optimal MLP model architecture, thus allowing for optimal prediction performance for the given time series. We tested our approach by filling gaps of various lengths (three months to three years) in three environmental datasets with different time series characteristics, namely daily groundwater levels, daily soil moisture, and hourly Net Ecosystem Exchange. We compared the accuracy of the gap-filled values obtained with our approach to the widely-used R-based time series gap filling methods ImputeTS and mtsdi. The results indicate that using an MLP for filling a large gap leads to better results, especially when the data behave nonlinearly. Thus, our approach enables the use of datasets that have a large gap in one variable, which is common in many long-term environmental monitoring observations.

研究の動機と目的

• 標準的手法が機能しない、数か月から数年にもわたる連続的な長大な欠損ギャップを有する多次元環境時系列における欠損値補完の課題に対処すること。
• 手動によるチューニングに依存せずに、欠損値補完に最適化されたMLPアーキテクチャを自動的に得るデータ駆動型のアプローチを開発すること。
• 従来の統計的および補間ベースの手法と比較して、非線形的時間的ダイナミクスおよび季節的傾向をより正確に捉えること。
• 大規模なギャップを有する不完全な長期環境モニタリングデータセットを、信頼性の高い補完により活用可能にする。
• 時系列における深層学習ベースの補完に、サーモンモデルに基づくハイパーパrameter最適化（RBFまたはGPを用いて）の有効性を示すこと。

提案手法

• ターゲット変数および補助変数のラグ付き観測値を入力特徴量として用い、時系列の欠損値を予測する深層学習モデルとして多層パーセプトロン（MLP）を採用する。
• Müllerら（2019）に基づく導関数を用いないサーモン最適化手法を適用し、MLPのハイパーパrameter（層数、ニューロン数、活性化関数など）を自動的にチューニングして最適な性能を得る。
• ハイパーパラメータ空間を効率的に探索し、検証データ上の補完誤差を最小化するために、径間基底関数（RBF）またはガウス過程（GP）のサーモンモデルを用いる。
• 逐次的補完を実装：ギャップの先頭から順に欠損値を1つずつ予測し、その後続の予測に事前に予測された値を入力として使用する。
• ギャップの前後で完全に観測された時系列セグメント上でMLPを学習し、周囲のデータを補完プロセスに反映させる。
• 日次地下水位、土壌水分、および時系列のネットエコシステム換気量を含む、特性が異なる3つの実環境データセットおよび1つのシミュレート済みデータセットを用いて手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 導関数を用いない自動ハイパーパラメータ最適化を施した深層学習モデルは、従来の統計的手法（例：ImputeTS、mtsd）よりも、多次元環境時系列における長期欠損値補完において優れた性能を示せるか？
• RQ2 MLPベースの補完手法の性能は、ギャップサイズや時系列内での位置に応じてどのように変化するか？
• RQ3 ハイパーパラメータ最適化プロセスにおけるサーモンモデルの選択（RBF対GP）が、補完の安定性および正確性に顕著な影響を及えるか？
• RQ4 本手法は、複雑な時間的挙動を示すデータにおいても、非線形的傾向および季節的ダイナミクスを効果的に捉えることができるか？
• RQ5 事前に予測された値からのフィードバックを組み込んだ逐次的補完戦略は、長大なギャップにおいて実用的かつ正確であるか？それとも、ギャップの終盤にかけて誤差蓄積が性能を劣化させるか？

主な発見

• 提案されたMLPベースの補完手法は、特に非線形的かつ長期的なギャップにおいて、広く使用されているRベースの手法ImputeTSおよびmtsdを顕著に上回る精度を達成した。
• ハイパーパラメータ最適化プロセスにおいて径間基底関数（RBF）サーモンモデルを用いることで、ガウス過程（GP）サーモンモデルと比較してより安定的かつ一貫性のある性能が得られた。
• 最適なMLPアーキテクチャはギャップサイズや時間的位置に応じて変化し、各補完タスクに対してハイパーパラメータ最適化の必要性が裏付けられた。
• 本手法は、欠損データ内での季節的傾向および極値を効果的に捉えることができ、複雑な時間的ダイナミクスをモデル化する強力な能力を示した。
• 全体的な性能は優れていたが、前方補完（forward imputation）を用いた場合、長大なギャップの終盤にかけて誤差蓄積が観察されたため、後方または双方向補完戦略の導入によるさらなる改善が期待された。
• 本手法は複数のギャップに一般化可能であり、小規模なギャップには他の手法と組み合わせて利用可能であり、今後の物理的制約の統合により、環境データに対する精度がさらに向上する可能性がある。