[論文レビュー] CDSA: Cross-Dimensional Self-Attention for Multivariate, Geo-tagged Time Series Imputation

Jiawei Ma, Zheng Shou+4 more|arXiv (Cornell University)|May 23, 2019

Time Series Analysis and Forecasting参考文献 35被引用数 39

ひとこと要約

Cross-Dimensional Self-Attention (CDSA) を導入し、時間、場所、測定ディメンション全体のアテンションをモデル化して多変量・地理タグ付き時系列の欠損値を補完する。最先端の補完および予測手法を複数のデータセットで上回る。

ABSTRACT

Many real-world applications involve multivariate, geo-tagged time series data: at each location, multiple sensors record corresponding measurements. For example, air quality monitoring system records PM2.5, CO, etc. The resulting time-series data often has missing values due to device outages or communication errors. In order to impute the missing values, state-of-the-art methods are built on Recurrent Neural Networks (RNN), which process each time stamp sequentially, prohibiting the direct modeling of the relationship between distant time stamps. Recently, the self-attention mechanism has been proposed for sequence modeling tasks such as machine translation, significantly outperforming RNN because the relationship between each two time stamps can be modeled explicitly. In this paper, we are the first to adapt the self-attention mechanism for multivariate, geo-tagged time series data. In order to jointly capture the self-attention across multiple dimensions, including time, location and the sensor measurements, while maintain low computational complexity, we propose a novel approach called Cross-Dimensional Self-Attention (CDSA) to process each dimension sequentially, yet in an order-independent manner. Our extensive experiments on four real-world datasets, including three standard benchmarks and our newly collected NYC-traffic dataset, demonstrate that our approach outperforms the state-of-the-art imputation and forecasting methods. A detailed systematic analysis confirms the effectiveness of our design choices.

研究の動機と目的

• 複数のセンサが異なる場所で観測する多変量・地理タグ付き時系列データの欠損データに対処する。
• 自己注意を活用して時間・空間・測定ディメンション間の関係をモデル化する。
• CDSA を提案し、全結合ジョイント注意の計算量を回避しつつ、クロスディメンショナルな依存関係を効率的に捉える。
• 実データセットに対して RNN ベースおよび従来手法と比較して、補完・予測性能が優れていることを示す。）

提案手法

• クロスディメンショナルな注意をモデル化するための 3 つの CDSA 戦略を提案: Independent（次元ごとの注意と後での結合）、Joint（全次元のクロスディメンショナル注意）、Decomposed（次元特異的注意を連結して構成）。
• 入力を X ∈ R^{T×L×M} と表現し、次元特異的ストリーム用に X_T、X_L、X_M に再形状化する。アテンションマップ A_T、A_L、A_M と分解積を用いてクロスディメンショナルな注意 A を形成。
• 欠損値は Transformer Encoder（8 層）と残差接続・レイヤー正規化で補完し、予測はエンコーダ-デコーダ（9 層）の Transformer を用いる。
• 補完タスクの RMSE を最小化するように Adam で学習し、測定値を正規化し欠損エントリをゼロで埋める。
• NYC-Traffic、KDD-2015、KDD-2018、METR-LA のデータセットで評価し、AR、Kriging、MTSI、BRITS、DCRNN などと比較。

実験結果

リサーチクエスチョン

• RQ1 自己注意は、時刻・場所・測定ディメンションを横断する多変量・地理タグ付き時系列の欠損補完に効果的に適用できるか。
• RQ2 どのモデリング戦略（Independent、Joint、Decomposed）がクロスディメンショナルな依存関係を最も適切に捉えつつ、計算コストを現実的に保てるか。
• RQ3 CDSA ベースのモデルは、最先端の RNN ベースおよび従来の欠損補完手法より、さまざまなデータセットで補完・予測精度を向上させるか。

主な発見

モデル	20%	30%	40%	50%	60%	70%	80%	90%
Auto Regressive	2.354	2.357	2.359	2.362	2.364	2.652	2.796	3.272
Kriging expo	2.142	2.145	2.157	2.152	2.155	2.165	2.182	2.231
Kriging linear	2.036	2.008	2.031	2.038	2.056	2.074	2.111	2.194
MTSI Luo et al. 2018	1.595	1.597	1.603	1.605	1.608	1.641	1.672	1.834
BRITS Cao et al. 2018	1.337	1.339	1.341	1.355	1.376	1.395	1.408	1.477
DCRNN Li et al. 2018	1.397	1.399	1.401	1.419	1.432	1.443	1.459	1.601
CDSA (ours)	1.203	1.208	1.211	1.214	1.215	1.217	1.234	1.377

• CDSA は複数の実データセットで補完および予測の性能が最先端の手法を上回る。
• Decomposed CDSA 変種は、独立型および結合/共有構成よりも、精度と計算効率の良いトレードオフを達成する。
• NYC-Traffic では、CDSA は欠損率 20% から 90% の範囲で AR、Kriging、MTSI、BRITS、DCRNN を上回る RMSE 値を達成。
• KDD-2015 PM2.5、TEMP、HUM のタスクで、CDSA は競争力のある MAE/MRE と優れたクロスデータセット性能を示す。
• KDD-2018 では、CDSA（Decomposed）が報告されたすべての欠損率において最良の MSE を達成。
• METR-LA 予測では、CDSA は長期予測（60 分）でいくつかのベースラインより改善。