[論文レビュー] Learning to Remember Patterns: Pattern Matching Memory Networks for Traffic Forecasting

Hyunwook Lee, Seungmin Jin+3 more|arXiv (Cornell University)|Oct 20, 2021

Traffic Prediction and Management Techniques参考文献 18被引用数 18

ひとこと要約

本稿では、パターンマッチングタスクとしての予測に着目し、キーバリュー記憶構造を用いる、新しい交通予測モデルであるPattern-Matching Memory Networks (PM-MemNet) を提案する。代表的な交通パターンを抽出・クラスタリングし、グラフ畳み込み記憶ネットワーク（GCMem）を採用することで、特に長期予測および急激に変化する交通状況において、Graph WaveNetなどのモデルを上回る最先端の性能を達成する。

ABSTRACT

Traffic forecasting is a challenging problem due to complex road networks and sudden speed changes caused by various events on roads. A number of models have been proposed to solve this challenging problem with a focus on learning spatio-temporal dependencies of roads. In this work, we propose a new perspective of converting the forecasting problem into a pattern matching task, assuming that large data can be represented by a set of patterns. To evaluate the validness of the new perspective, we design a novel traffic forecasting model, called Pattern-Matching Memory Networks (PM-MemNet), which learns to match input data to the representative patterns with a key-value memory structure. We first extract and cluster representative traffic patterns, which serve as keys in the memory. Then via matching the extracted keys and inputs, PM-MemNet acquires necessary information of existing traffic patterns from the memory and uses it for forecasting. To model spatio-temporal correlation of traffic, we proposed novel memory architecture GCMem, which integrates attention and graph convolution for memory enhancement. The experiment results indicate that PM-MemNet is more accurate than state-of-the-art models, such as Graph WaveNet with higher responsiveness. We also present a qualitative analysis result, describing how PM-MemNet works and achieves its higher accuracy when road speed rapidly changes.

研究の動機と目的

• 急激な変化や複雑な空間時間的依存性が生じる状況下でも正確に交通予測を行うという課題に対処すること。
• 代表的な歴史的パターンを用いて、交通予測を効果的にパターンマッチングタスクとして再定式化できるかを検討すること。
• 道路ネットワーク内の空間的および時間的依存性を両方捉える記憶拡張アーキテクチャを設計すること。
• PM-MemNetの性能を、特に長期予測および急激な変化が生じる場面において、最先端のモデルと比較して評価すること。
• 記憶サイズおよびアーキテクチャが、予測精度およびモデルの頑健性に与える影響を調査すること。

提案手法

• 代表的な交通パターンは、クラスタリングを用いて履歴データから抽出され、記憶構造におけるキースペースを形成する。
• 注目とグラフ畳み込みを統合した、新規のグラフ畳み込み記憶ネットワーク（GCMem）が、記憶内での空間時間的相関をモデル化するために採用される。
• エンコーダは、時間埋め込みを用いてスタックされたGCMem層を備え、パターン記憶を介した文脈表現を生成する。
• デコーダは、マッチングされたパターンに基づいて将来の交通状態を生成するために、GCMemを備えたゲート付き再帰ユニット（GRU）を採用する。
• 入力シーケンスと記憶内における最も関連性の高い代表パターンをマッチングするために、コサイン類似度が用いられる。
• 再構成損失を最適化することで、エンドツーエンドに学習され、パターンマッチングと予測精度の両方を最適化する。

実験結果

リサーチクエスチョン

• RQ1 学習済みの代表的パターンの記憶を用いて、交通予測を効果的にパターンマッチングタスクとして再定式化できるか？
• RQ2 GCMemにおけるグラフ畳み込みと注目機構の統合が、交通データの空間時間的依存性のモデル化にどのように寄与するか？
• RQ3 モデルのパフォーマンスとメモリ効率のバランスをとるための最適な代表パターン数は何か？
• RQ4 PM-MemNetは、既存のモデルと比較して、急激な交通変化の状況下でどのように性能を発揮するか？
• RQ5 記憶アーキテクチャが、長期予測精度にどの程度の影響を及ぼすか？

主な発見

• PM-MemNetは、METR-LAおよびNAVER-Seoulの両データセットにおいて、Graph WaveNetや他の最先端モデルを上回り、特に長期予測において顕著な優位性を示した。
• 100個の代表パターンで最も高い性能を達成しており、メモリサイズが大きくなるからといって必ずしも精度が向上するわけではないことが示された。
• 単一層のGCMem（PM-MemNet w/L=1）でもすでに強力な性能を発揮しており、軽量なデプロイメントへの適性とモデルの頑健性を示している。
• 長期予測において、GRUベースのデコーダはCNNベースのデコーダを上回り、RNNベースのデコーダは標準的なRNNモデルよりも高い精度を示した。
• 定性的な分析から、PM-MemNetが通勤ラッシュ時や事故発生時のような急激な速度変化に対して、より迅速かつ正確に反応することが確認された。
• アブレーションスタディにより、GCMemが交通シーケンスにおける長期依存性のモデル化に有効であることが裏付けられた。