[論文レビュー] BRITS: Bidirectional Recurrent Imputation for Time Series

Wei Cao, Dong Wang+4 more|arXiv (Cornell University)|May 27, 2018

Time Series Analysis and Forecasting参考文献 22被引用数 318

ひとこと要約

BRITS は多変量時系列データの欠損値を推定する双方向リカレントネットワークを導入し、欠損推定と分類/回帰を共同最適化することで、最先端手法を上回る。

ABSTRACT

Time series are widely used as signals in many classification/regression tasks. It is ubiquitous that time series contains many missing values. Given multiple correlated time series data, how to fill in missing values and to predict their class labels? Existing imputation methods often impose strong assumptions of the underlying data generating process, such as linear dynamics in the state space. In this paper, we propose BRITS, a novel method based on recurrent neural networks for missing value imputation in time series data. Our proposed method directly learns the missing values in a bidirectional recurrent dynamical system, without any specific assumption. The imputed values are treated as variables of RNN graph and can be effectively updated during the backpropagation.BRITS has three advantages: (a) it can handle multiple correlated missing values in time series; (b) it generalizes to time series with nonlinear dynamics underlying; (c) it provides a data-driven imputation procedure and applies to general settings with missing data.We evaluate our model on three real-world datasets, including an air quality dataset, a health-care data, and a localization data for human activity. Experiments show that our model outperforms the state-of-the-art methods in both imputation and classification/regression accuracies.

研究の動機と目的

• 強いデータ生成仮定を置かずに、多変量で不規則にサンプリングされた時系列に対する堅牢な欠損値推定を動機づける。
• グラフ内の訓練可能な変数として欠損値を扱う双方向RNNフレームワークを提案する。
• 欠損推定と下流の分類/回帰を結合して学習させ、誤差伝播を抑制する。
• 複数の実世界データセットにおいて、欠損推定と予測の性能の向上を示す。

提案手法

• 多変量時系列の欠損値を補完する双方向リカレントニューラルネットワークを開発する。
• 欠損エントリをRNNグラフ内の変数として扱い、前向きと後向きの両方の伝播を通じて一貫性を保つ。
• 不規則なサンプリングと欠損ギャップに対処するための時系列減衰因子を組み込む。
• 履歴ベースの推定と特徴ベースの推定を学習された重み付けスキームで組み合わせ、相関する特徴へ拡張する。
• 単一のニューラルグラフ内で、欠損推定損失と下流タスク損失（分類/回帰）を同時に最適化する。

実験結果

リサーチクエスチョン

• RQ1 データ生成過程に関する強い仮定を置かずに、双方向RNNは多変量時系列の欠損値をどれだけうまく補完できるか？
• RQ2 特徴の相関と共同監督を組み込むことで、欠損推定と下流タスクの精度は既存手法と比べて改善されるか？
• RQ3 欠損値をRNNグラフ内の訓練可能な変数として Effectively扱い、訓練中の勾配流を改善できるか？
• RQ4 不規則サンプリングデータに対する収束速度と欠損推定品質に対する双方向ダイナミクスの影響はどの程度か？

主な発見

手法	空気品質 MAE	空気品質 MRE%	ヘルスケア MAE	ヘルスケア MRE%	人間の活動 MAE	人間の活動 MRE%
Mean	55.51	77.97%	0.720	100.00%	0.767	96.43%
KNN	29.79	41.85%	0.732	101.66%	0.479	58.54%
MF	27.94	39.25%	0.622	87.68%	0.879	110.44%
MICE	27.42	38.52%	0.634	89.17%	0.477	57.94%
ImputeTS	19.58	27.51%	0.390	54.2%	0.363	45.65%
STMVL	12.12	17.40%	/	/	/	/
GRU-D	/	0.559	0.558	/	/	/
M-RNN	14.24	20.43%	0.451	62.65%	0.248	31.19%
RITS-I	12.73	18.32%	0.395	54.80%	0.240	30.10%
BRITS-I	11.58	16.66%	0.361	50.01%	0.220	27.61%
RITS	12.19	17.54%	0.300	41.89%	0.248	31.21%
BRITS	11.56	16.65%	0.281	39.14%	0.219	27.59%

• BRITS は、非RNNおよびいくつかのRNNベースのベースラインを欠損推定精度（MAE/MRE、データセット横断）で著しく上回る。
• 双方向ダイナミクスと特徴の相関は、単方向および相関なしの変種よりも改善に寄与する。
• BRITS は欠損推定の向上とともに、分類/回帰の最先端または競合的な性能を達成する（例：医療・行動タスクでのAUC/精度が高い）。
• 報告された表全体で、BRITS はテストした手法の中で一貫して最も低い欠損推定エラーを示し、RITS-I、RITS、BRITS-I、GRU-D、および M-RNN を上回る。
• 単純な平滑化や単一方向系列に依存する推定法は、BRITS に比べて欠損推定と下流予測の両面で劣る。