[論文レビュー] Incrementally Improving Graph WaveNet Performance on Traffic Prediction

Sam Shleifer, Clara H. McCreery+1 more|arXiv (Cornell University)|Dec 11, 2019

Traffic Prediction and Management Techniques参考文献 4被引用数 17

ひとこと要約

この論文は、ハイパーパramータの最適化、勾配の流れを改善するためのスキップ接続の追加、および短期予測タスクでの事前学習により、Graph WaveNetの交通予測性能を段階的に向上させている。これらの変更により、METR-LAでは平均MAEが0.054低下し、PEMS-BAYでは0.055低下し、構造的変更を最小限に抑えつつ最先端の結果を達成した。

ABSTRACT

We present a series of modifications which improve upon Graph WaveNet's previously state-of-the-art performance on the METR-LA traffic prediction task. The goal of this task is to predict the future speed of traffic at each sensor in a network using the past hour of sensor readings. Graph WaveNet (GWN) is a spatio-temporal graph neural network which interleaves graph convolution to aggregate information from nearby sensors and dilated convolutions to aggregate information from the past. We improve GWN by (1) using better hyperparameters, (2) adding connections that allow larger gradients to flow back to the early convolutional layers, and (3) pretraining on an easier short-term traffic prediction task. These modifications reduce the mean absolute error by .06 on the METR-LA task, nearly equal to GWN's improvement over its predecessor. These improvements generalize to the PEMS-BAY dataset, with similar relative magnitude. We also show that ensembling separate models for short-and long-term predictions further improves performance. Code is available at https://github.com/sshleifer/Graph-WaveNet .

研究の動機と目的

• 主な構造的変更を加えずに、交通速度予測におけるGraph WaveNetの性能を段階的に向上させること。
• ハイパーパramータチューニング、スキップ接続、事前学習といった小さな変更が、顕著な性能向上をもたらすかどうかを調査すること。
• 入力表現の違い、特にゼロ速度の読み取りの処理がモデルの精度に与える影響を評価すること。
• 短期および長期予測ヘッドをアンサンブルすることで、全体の性能が向上するかどうかを検証すること。
• 空間時系列モデリングにおいて、時系列履歴、グラフ畳み込み、学習された隣接行列の相対的な重要性を理解すること。

提案手法

• 表現能力を向上させるために、畳み込み層のチャネル数を32から40に増加させた。
• 勾配が初期の畳み込み層に効果的に伝わるよう、スキップ接続を追加し、学習の安定性を向上させた。
• 入力特徴量のゼロ速度値を、全センサーの平均速度に置き換えることで、欠損データの表現を改善した。
• 収束の安定化と一般化性能の向上を図るため、訓練中に学習率の逓減を適用した。
• 60分予測タスクの微調整の前に、15分予測タスク（短期予測）でモデルを事前学習した。
• 短期（15分）および長期（60分）予測用に別々に訓練したモデルをアンサンブルし、全体の精度を向上させた。

実験結果

リサーチクエスチョン

• RQ1 Graph WaveNetに小さな段階的変更を加えることで、交通予測タスクにおける性能を顕著に向上させられるか？
• RQ2 より単純な短期予測タスクで事前学習することで、60分予測タスクの性能が向上するか？
• RQ3 特にゼロ速度の読み取りの処理を含む、異なる入力表現がモデル精度に与える影響は何か？
• RQ4 異なる予測期間で訓練したモデルをアンサンブルすることで、性能にメリットがあるか？
• RQ5 グラフ畳み込みと学習された隣接行列が、モデル性能に与える相対的寄与度は何か？

主な発見

• 最終モデルはMETR-LAデータセットで平均MAE 3.002を達成し、ベースラインのGraph WaveNet（3.057）から0.055低下した。
• PEMS-BAYデータセットでも、平均MAEが0.055低下し、元のデータセットを超えた一般化性能を示した。
• 学習率の逓減やスキップ接続といった主な変更を削除すると、性能が顕著に低下したため、それらの必要性が確認された。
• 短期予測タスクでの事前学習により、全タスクの性能が向上したが、微調整後のモデルは短期予測の精度を若干失った。
• 時系列履歴を5〜6タイムステップ（30分）程度まで使用すると、性能の向上が頭打ちになることが示され、それ以上の履歴は限界効果にとどまった。
• グラフ畳み込みを削除すると、平均MAEは3.59に上昇し、学習された隣接行列を削除すると3.08に上昇したため、両者の重要性が確認された。