[論文レビュー] Graph Neural Lasso for Dynamic Network Regression

Yixin Chen, Lin Meng+1 more|arXiv (Cornell University)|Jul 25, 2019

Machine Learning and ELM参考文献 40被引用数 4

ひとこと要約

本稿では、ゲート付き拡散ユニットに注意メカニズムとL1正則化を組み合わせることで、動的関係と時系列トレンドを同時にモデル化する新規のグラフニューラルネットワーク、Graph Neural Lasso (Gnl) を提案する。Gnl はエンドツーエンドで動的グラフ構造を学習し、株価および交通予測タスクで最先端の性能を達成する。

ABSTRACT

The regression of multiple inter-connected sequence data is a problem in various disciplines. Formally, we name the regression problem of multiple inter-connected data entities as the "dynamic network regression" in this paper. Within the problem of stock forecasting or traffic speed prediction, we need to consider both the trends of the entities and the relationships among the entities. A majority of existing approaches can't capture that information together. Some of the approaches are proposed to deal with the sequence data, like LSTM. The others use the prior knowledge in a network to get a fixed graph structure and do prediction on some unknown entities, like GCN. To overcome the limitations in those methods, we propose a novel graph neural network, namely Graph Neural Lasso (GNL), to deal with the dynamic network problem. GNL extends the GDU (gated diffusive unit) as the base neuron to capture the information behind the sequence. Rather than using a fixed graph structure, GNL can learn the dynamic graph structure automatically. By adding the attention mechanism in GNL, we can learn the dynamic relations among entities within each network snapshot. Combining these two parts, GNL is able to model the dynamic network problem well. Experimental results provided on two networked sequence datasets, i.e., Nasdaq-100 and METR-LA, show that GNL can address the network regression problem very well and is also very competitive among the existing approaches.

研究の動機と目的

• 動的ネットワークにおける時系列トレンドと進化するエントリ間関係を同時にモデル化する課題に対処すること。
• 従来の時系列回帰手法における固定構造 GNN や静的グラフ仮定の制限を克服すること。
• ネットワークトポロジーの事前知識が不要なエンドツーエンドでの動的グラフ構造の学習を可能にすること。
• 統合された注目メカニズムと L1 正則化を通じて、ネットワーク時系列データにおける回帰性能と一般化能力を向上させること。
• 金融、交通、神経科学に応用可能なスケーラブルなディープラーニングフレームワークを提供すること。

提案手法

• ノード時系列の時間的ダイナミクスと潜在的トレンドをモデル化するために、Gated Diffusive Units (Gdu) をコアの再帰セルとして使用する。
• 関連ノードからの情報を動的に集約するための注目メカニズムを導入し、時間的に変化する関係性を捉える。
• トレーニング中にエンドツーエンドでグラフ構造を学習し、事前定義されたまたは静的トポロジーの必要性を排除する。
• 過学習を低減し収束を加速するために、モデルパラメータに L1-ノルム正則化を適用する。
• 訓練の安定性と効率性を高めるために、F-ノルム、ピecewise 衍生、近接勾配、加速近接勾配の複数の最適化戦略を採用する。
• 再帰的モデリングと注目ベースのメッセージパッシングを組み合わせ、ノードレベルのダイナミクスとネットワークレベルの進化を同時に捉える。

実験結果

リサーチクエスチョン

• RQ1 グラフニューラルネットワークは、動的ネットワークにおける時系列トレンドと進化するノード間関係を効果的にモデル化できるか？
• RQ2 固定または事前指定されたトポロジーに依存する手法と比較して、エンドツーエンドでの動的グラフ構造学習は優れた性能を発揮するか？
• RQ3 注目メカニズムと L1 正則化の統合は、動的ネットワーク回帰における一般化能力と収束性をどのように向上させるか？
• RQ4 Nasdaq-100 や METR-LA のような実世界の動的ネットワークデータセットにおいて、Gnl は既存のベースラインをどの程度上回るか？
• RQ5 異なる最適化手法は、Gnl モデルの訓練ダイナミクスと最終的性能にどのように影響を与えるか？

主な発見

• Nasdaq-100 データセットでは、Gnl が最先端の性能を達成し、1日先の MAE が 0.1321、R2 が 0.9556 に達した（PW 勾配法を用いて）。
• METR-LA 交通データセットでは、15分先の MAE が 2.7928、R2 が 0.8869 に達し、都市部の交通速度予測において高い予測精度を示した。
• L1 正則化を施したモデル（Gnl-PW）は、正則化なしのバージョンよりも収束が早く、一般化性能も優れており、正則化の有効性を裏付けた。
• 注目メカニズムは、時間的に変化する相関関係を効果的に捉えており、ヒートマップでは既知の交通パターン（例：ラッシュアワーの流れ）や株価の連動トレンドが明確に反映された。
• F、PW、PG、APG の4つの最適化手法すべてについて、訓練損失曲線が安定した収束を示しており、訓練ダイナミクスのロバスト性を確認した。
• アブレーションスタディにより、Gdu、注目メカニズム、L1 正則化の組み合わせが、アブレーション変種と比較して優れた性能を発揮することが確認された。