[論文レビュー] A convolution recurrent autoencoder for spatio-temporal missing data imputation

Reza Asadi, Amelia Regan|arXiv (Cornell University)|Apr 28, 2019

Human Mobility and Location-Based Analysis被引用数 14

ひとこと要約

本稿では、空間的パターンを畳み込み層を用いて、時間的依存関係を双方向LSTMを用いて捉えることで、交通フローデータにおける時空間的欠損データ補完のための畳み込み双方向LSTMオートエンコーダーを提案する。モデルは最先端手法を上回り、単一補完では6.9のMAEと13.7のRMSEを達成しており、複数回補完と潜在特徴解析を組み合わせることで性能がさらに向上する。

ABSTRACT

When sensors collect spatio-temporal data in a large geographical area, the existence of missing data cannot be escaped. Missing data negatively impacts the performance of data analysis and machine learning algorithms. In this paper, we study deep autoencoders for missing data imputation in spatio-temporal problems. We propose a convolution bidirectional-LSTM for capturing spatial and temporal patterns. Moreover, we analyze an autoencoder's latent feature representation in spatio-temporal data and illustrate its performance for missing data imputation. Traffic flow data are used for evaluation of our models. The result shows that the proposed convolution recurrent neural network outperforms state-of-the-art methods.

研究の動機と目的

• 大規模な時空間的データセットにおける欠損データの課題に取り組むこと、特に交通フロー監視における応用を対象とする。
• センサデータにおける空間的および時間的依存関係を効果的に捉えることができる深層学習モデルを開発すること。
• オートエンコーダーが学習する潜在表現と複数回補完戦略を活用することで、補完精度を向上させること。
• 学習された潜在特徴の意味的意味の有る性質を、後続の補完タスクに役立てるかどうかを分析すること。
• 完全結合型ネットワークや標準的なRNNと比較して、畳み込み-再帰的アーキテクチャが欠損データ回復において優れていることを示すこと。

提案手法

• 1次元畳み込み層（複数のカーネルサイズを用いて）で空間的パターンを抽出し、双方向LSTMで時間的パターンを抽出する畳み込み双方向LSTMオートエンコーダーを設計する。
• ノイズ除去オートエンコーダーの目的関数を採用し、入力データに欠損値を付加した上で、元のデータを再構築するようにネットワークを学習させる。
• 1サンプルあたり複数回の補完を生成し、最終的な補完値はこれらの複数出力の平均値として算出することで分散を低減する。
• ボトルネック層からの潜在特徴表現に対して、t-SNE可視化とk-NN分類による評価を用いて補完性能を分析する。
• 訓練の安定性と収束速度の向上を図るため、残差接続をアーキテクチャに組み込む。
• 実世界の交通フローデータを用い、さまざまな欠損パターンを想定してMAEとRMSEを用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 畳み込み再帰的オートエンコーダーは、時空間的データにおける空間的および時間的パターンを、欠損データ補完の目的で効果的に学習できるか？
• RQ2 オートエンコーダー出力に基づく複数回補完は、単一補完と比較して補完精度をどのように向上させるか？
• RQ3 学習された潜在特徴表現は意味的に意味のあるものであり、欠損データ補完に有用であるか？
• RQ4 k-NNを潜在特徴に適用する際、潜在ベクトルのサイズが補完性能に与える影響は何か？
• RQ5 提案手法は、既存の最先端手法に比べて交通フローデータの補完タスクで優れているか？

主な発見

• 提案された畳み込み再帰的オートエンコーダーは、単一補完において6.9のMAEと13.7のRMSEを達成し、完全結合型、LSTM、BiLSTMベースラインを顕著に上回った。
• オートエンコーダー出力に基づく複数回補完により補完誤差が低減され、単一予測と比較して複数予測の平均値がより優れた結果をもたらした。
• t-SNE可視化により、同じ時間帯のデータポイントがクラスタを形成することが示され、オートエンコーダーが学習した潜在特徴空間が意味的に意味のあるものであることが裏付けられた。
• 完全結合型オートエンコーダーの潜在特徴にk-NNを適用した場合、MAEは16.6、RMSEは22.5となり、主成分（PCA）成分へのk-NN適用を上回った。
• k-NNによる補完の最適な潜在ベクトルサイズは10と特定され、サイズ2〜20の範囲でこの次元で性能がピークに達した。
• 残差接続を組み込んだ畳み込み再帰的オートエンコーダーは、非残差型と比較して収束が改善され、より高い性能を示した。