[論文レビュー] Deep-Ensemble-Based Uncertainty Quantification in Spatiotemporal Graph Neural Networks for Traffic Forecasting

Tanwi Mallick, Prasanna Balaprakash+1 more|arXiv (Cornell University)|Apr 4, 2022

Traffic Prediction and Management Techniques被引用数 6

ひとこと要約

本稿では、交通予測のための時空間グラフニューラルネットワークにおける不確実性評価のためのスケーラブルなディープアンサンブル手法を提案する。ベイジアンハイパーパramータ最適化とガウス・コプーラ生成モデルを用いて、多様なDCRNNモデルを構築する。予測精度と不確実性推定の両面で最先端の性能を達成しており、アレアトリック不確実性とエピステミック不確実性を別々に評価することで、既存のベイジアンおよび頻度主義的手法を上回っている。実世界の交通データ上で検証された。

ABSTRACT

Deep-learning-based data-driven forecasting methods have produced impressive results for traffic forecasting. A major limitation of these methods, however, is that they provide forecasts without estimates of uncertainty, which are critical for real-time deployments. We focus on a diffusion convolutional recurrent neural network (DCRNN), a state-of-the-art method for short-term traffic forecasting. We develop a scalable deep ensemble approach to quantify uncertainties for DCRNN. Our approach uses a scalable Bayesian optimization method to perform hyperparameter optimization, selects a set of high-performing configurations, fits a generative model to capture the joint distributions of the hyperparameter configurations, and trains an ensemble of models by sampling a new set of hyperparameter configurations from the generative model. We demonstrate the efficacy of the proposed methods by comparing them with other uncertainty estimation techniques. We show that our generic and scalable approach outperforms the current state-of-the-art Bayesian and a number of other commonly used frequentist techniques.

研究の動機と目的

• リアルタイムでの導入に際して信頼性を損なう、深層学習ベースの交通予測モデルにおける不確実性評価の欠如という重要な課題に対処する。
• 出力分布をガウス分布と仮定するか、大規模な時空間データセットにスケーリングできないという限界を抱える既存の不確実性推定技術の課題を克服する。
• グラフニューラルネットワークベースの交通予測におけるアレアトリック不確実性とエピステミック不確実性を別々に推定できる汎用的でスケーラブルなフレームワークを開発する。
• データのばらつき（アレアトリック）やモデルの分布外一般化（エピステミック）に起因する高不確実性領域を特定することで、交通管理における意思決定を改善する。
• 提案手法が、精度とスケーラビリティの両面で、最先端のベイジアンおよび頻度主義的手法を上回ることを実証する。

提案手法

• 出力分布をガウス分布と仮定しないで予測区間を直接予測できるように、DCRNNモデルに同時分位数回帰（SQR）損失を採用する。
• スケーラブルなベイジアン最適化を用いて、ハイパーパramータ空間を効率的に探索し、高性能なDCRNN設定を特定する。
• 高性能なハイパーパramータ設定の集合の連合分布にガウス・コプーラ生成モデルをフィットさせ、新たな多様なハイパーパramータセットをサンプリングする。
• サンプリングされたハイパーパramータ設定を用いて、DCRNNモデルのディープアンサンブルを訓練し、頑健なアンサンブル予測を実現する。
• アンサンブル予測に対して分散分解を適用し、合計不確実性をアレアトリック（データ駆動）とエピステミック（モデル駆動）の成分に分離する。
• スケーラブルなハイパーパramータ探索と分散処理を活用することで、大規模な交通データセットに対しても、効率的かつ正確な手法を維持する。

実験結果

リサーチクエスチョン

• RQ1 スケーラブルなディープアンサンブルアプローチは、交通予測のための時空間グラフニューラルネットワークにおけるアレアトリック不確実性とエピステミック不確実性の両方を効果的に評価できるか？
• RQ2 提案手法は、既存のベイジアンおよび頻度主義的手法と比較して、性能と耐障害性の面で優れているか？
• RQ3 ハイパーパラメータ探索のスケーリングは、得られるディープアンサンブルの品質と多様性をどの程度向上させるか？
• RQ4 アレアトリック不確実性とエピステミック不確実性のレベルは、急激な混雑や流量変動といった交通ダイナミクスの変化とどの程度相関するか？
• RQ5 提案された不確実性分解は、予測ホライズンの調整や高不確実性領域でのデータ収集のトリガーなど、実用的意思決定を支援できるか？

主な発見

• 提案されたDCRNN-SQRUQ手法は、最先端のベイジアンニューラルネットワーク手法および複数の頻度主義的手法を、予測精度と不確実性のキャリブレーションの両面で上回っている。
• 本手法は頑健な平均予測を達成し、特に交通ダイナミクスが急激に変化する時期におけるデータのばらつきを効果的に捉えている。
• アレアトリック不確実性は、交通行動の急激な変化が生じる時期に顕著に上昇し、除去できないデータばらつきを反映しており、最悪事態の計画に利用できる。
• エピステミック不確実性は、交通パターンが学習データの分布から逸脱する際に上昇し、モデルの信頼性の低下を示唆しており、モデル再訓練や予測ホライズンの短縮の必要性を示唆する。
• ガウス・コプーラ生成モデルは、最小限の計算オーバーヘッドで高性能なハイパーパラメータ設定を効率的に生成でき、スケーラブルなアンサンブル構築を可能にしている。
• 分散分解アプローチは、アレアトリック不確実性とエピステミック不確実性を効果的に分離・定量化できており、能動的な交通管理システムにおける実用的インサイトを提供している。