[論文レビュー] Z-GCNETs: Time Zigzags at Graph Convolutional Networks for Time Series Forecasting

Yuzhou Chen, Ignacio Segovia-Domínguez+1 more|arXiv (Cornell University)|May 10, 2021

Topological and Geometric Data Analysis参考文献 39被引用数 44

ひとこと要約

Z-GCNETsは、グラフ畳み込みネットワーク内に時間認識型のジグザグ持続層を導入し、時間依存のトポロジ特徴を活用して交通データとEthereumトークンネットワークの時系列予測を改善します。4データセットで13の最先端手法を上回ります。

ABSTRACT

There recently has been a surge of interest in developing a new class of deep learning (DL) architectures that integrate an explicit time dimension as a fundamental building block of learning and representation mechanisms. In turn, many recent results show that topological descriptors of the observed data, encoding information on the shape of the dataset in a topological space at different scales, that is, persistent homology of the data, may contain important complementary information, improving both performance and robustness of DL. As convergence of these two emerging ideas, we propose to enhance DL architectures with the most salient time-conditioned topological information of the data and introduce the concept of zigzag persistence into time-aware graph convolutional networks (GCNs). Zigzag persistence provides a systematic and mathematically rigorous framework to track the most important topological features of the observed data that tend to manifest themselves over time. To integrate the extracted time-conditioned topological descriptors into DL, we develop a new topological summary, zigzag persistence image, and derive its theoretical stability guarantees. We validate the new GCNs with a time-aware zigzag topological layer (Z-GCNETs), in application to traffic forecasting and Ethereum blockchain price prediction. Our results indicate that Z-GCNET outperforms 13 state-of-the-art methods on 4 time series datasets.

研究の動機と目的

• 深層学習におけるトポロジー情報解析と明示的な時間条件付き表現の統合を動機づける。
• 安定性保証を伴うジグザグ持続ベースのトポロジー要約（ジグザグ持続画像）を開発する。
• 専用のジグザグレイヤー（Z-GCNETs）を介して、時間認識型トポロジ特徴をGCNに組み込む。
• 空間的、時間的、トポロジ的情報を統一予測フレームワーク内で融合する。

提案手法

• スライディングウィンドウを用いて多変量時系列データから時系列グラフを時間発展させて構築する。
• 時間を跨いでジグザグ持続ダイアグラムを抽出し、それを安定性保証付きのジグザグ持続画像（ZPI）に変換する。
• ZPIをCNNで処理して学習されたトポロジ表現（Z^{(\nabla) }）を得る。
• 空間的グラフ畳み込みと拡散様のラプラシアンリンク（L̃）およびリカレントモジュール（GRU）を用いて、Z^{(\nabla)}を統合し多ステップ予測を行う。
• GRUベースの予測の前に、空間的・時間的・トポロジ的特徴を融合する時間対応ジグザグトポロジーレイヤーを適用する。

実験結果

リサーチクエスチョン

• RQ1 時間条件付きジグザグ持続は、標準的な時空間GCNを超えるグラフ上の時系列予測精度向上につながるか？
• RQ2 ニューラルネットワーク内でジグザグ持続を画像として表現する際の安定性と実用的利益は何か？
• RQ3 トラフィックデータとブロックチェーンデータセットにおける頑健性と性能に、トポロジ情報の組み込みはどのような影響を与えるか？

主な発見

モデル	PeMSD4 MAE	PeMSD4 RMSE	PeMSD4 MAPE	PeMSD8 MAE	PeMSD8 RMSE	PeMSD8 MAPE
HA	38.03	59.24	27.88%	34.86	52.04	24.07%
VAR (Hamilton, 2020)	24.54	38.61	17.24%	19.19	29.81	13.10%
FC-LSTM (Sutskever et al., 2014)	26.77	40.65	18.23%	23.09	35.17	14.99%
GRU-ED (Cho et al., 2014)	23.68	39.27	16.44%	22.00	36.23	13.33%
DSANet (Huang et al., 2019)	22.79	35.77	16.03%	17.14	26.96	11.32%
DCRNN (Li et al., 2018)	21.22	37.23	14.17%	16.82	26.36	10.92%
STGCN (Yu et al., 2018a)	21.16	35.69	13.83%	17.50	27.09	11.29%
GraphWaveNet (Wu et al., 2019)	28.15	39.88	18.52%	20.30	30.82	13.84%
ASTGCN (Guo et al., 2019)	22.93	34.33	16.56%	18.25	28.06	11.64%
MSTGCN (Guo et al., 2019)	23.96	37.21	14.33%	19.00	29.15	12.38%
STSGCN (Song et al., 2020)	21.19	33.69	13.90%	17.13	26.86	10.96%
AGCRN (Bai et al., 2020)	19.83	32.30	12.97%	15.95	25.22	10.09%
LSGCN (Huang et al., 2020)	21.53	33.86	13.18%	17.73	26.76	11.20%
Z-GCNETs (ours)	19.50	31.61	12.78%	15.76	25.11	10.01%

• Z-GCNETsは4つの時系列データセットで13の最先端ベースラインを上回る。
• PeMSD4/PeMSD8では、Z-GCNETsが競合より低いRMSE/MAE/MAPEを達成、例えばPeMSD4 RMSE 31.61は他の32.30–39.88に対して良好。
• Ethereumトークンネットワーク（Bytom、Decentraland）では、Z-GCNETsがベースラインより良いMAPE（31.04%、23.81%）を達成。
• アブレーションにより、ジグザグ学習、空間GCN、または時間GCNを除去すると性能が低下すること、特に時間GCNの影響が大きいことが示された。
• ZPI表現はWasserstein-1距離に対して安定であり、信頼できるトポロジー要約を保証する。