[論文レビュー] Applying SVGD to Bayesian Neural Networks for Cyclical Time-Series Prediction and Inference

Xinyu Hu, Paul Szerlip+2 more|arXiv (Cornell University)|Jan 17, 2019

Traffic Prediction and Management Techniques参考文献 14被引用数 4

ひとこと要約

本稿では、空間的・時間的需要予測における周期的時系列予測のため、スティン変分勾配降下法（SVGD）を用いたベイジアンニューラルネットワーク（BNN）を提案する。この手法により、補正された不確実性評価を伴う高精度な点推定が可能となる。微調整されたMLPと比較して平均WMAPEが10%低く、非ベイジアンベースラインと比較しても4%低く抑えられ、特に休日付近で予測のばらつきが高くなる傾向を捉えている。

ABSTRACT

A regression-based BNN model is proposed to predict spatiotemporal quantities like hourly rider demand with calibrated uncertainties. The main contributions of this paper are (i) A feed-forward deterministic neural network (DetNN) architecture that predicts cyclical time series data with sensitivity to anomalous forecasting events; (ii) A Bayesian framework applying SVGD to train large neural networks for such tasks, capable of producing time series predictions as well as measures of uncertainty surrounding the predictions. Experiments show that the proposed BNN reduces average estimation error by 10% across 8 U.S. cities compared to a fine-tuned multilayer perceptron (MLP), and 4% better than the same network architecture trained without SVGD.

研究の動機と目的

• ライドシェアリングのような産業的現場において、不確実性が不正確であると供給の最適割り当てが実現できないという課題に対処すること。
• 特に休日付近の周期的需要パターンにおける予測不確実性を、モデル不確実性と内在的ノイズの両方を捉えるベイジアンフレームワークを用いてモデル化すること。
• SVGDによる変分推論を用いて、標準的なニューラルネットワークの点推定を改善し、不確実性評価を統合すること。
• 事後分布の形に対する強い仮定を必要としない、大規模ニューラルネットワーク向けのスケーラブルで非パrametricなベイジアン推論手法を開発すること。
• 米国8都市の実際のライダー需要データを用いて、本手法の有効性を評価し、精度の向上と信頼性のある不確実性推定を実証すること。

提案手法

• 1次元畳み込みエンコーダと並列デコーダを備えた前向き決定的ニューラルネットワーク（DetNN）を設計し、周期的時系列パターンをモデル化するとともに、1-of-Kエンコーディングされた時系列特徴（例：休日、曜日）を組み込む。
• モデルパラメータ（重みwとノイズ共分散Σ）に対してベイジアン推論を適用し、階層的事前分布を用いる：w ~ N(0, α⁻¹I), α ~ Γ(a₀,b₀), および各出力次元に対してσᵢ⁻² ~ Γ(a₁,b₁)。
• 事後分布の近似にスティン変分勾配降下法（SVGD）を用い、明示的な事後密度の形を必要としない非パrametricかつスケーラブルな推論を実現する。
• SVGDによりn個の事後サンプル（粒子）を生成し、予測平均E[y] = Eθ[E[y|θ]]と、モデル不確実性と残存ノイズに分解された予測分散総和を計算する。
• 予測不確実性は全分散の法則を用いて評価する：Cov(y) = Covθ(E[y|θ]) + Eθ(Cov(y|θ))。ここで第一項がモデル不確実性、第二項が残存ノイズを表す。
• wとΣのそれぞれに別々の学習率を用いてエンドツーエンドでモデルを学習し、最終的な予測はSVGD粒子の平均化により、より頑健で不確実性の補正が適切な結果を得る。

実験結果

リサーチクエスチョン

• RQ1 SVGDに基づくベイジアンニューラルネットワークは、標準的な点推定モデルと比較して、周期的時系列予測における予測精度と不確実性補正の両面で優れているか？
• RQ2 SVGDによるベイジアン推論の導入は、多様な都市環境における実世界のライダー需要予測性能にどのように影響を与えるか？
• RQ3 異常な時間窓（例：休日）では、不確実性の高い予測シナリオに応じて、モデルがより高い予測ばらつきを示すか？
• RQ4 本手法によるBNNと非ベイジアンDetNNおよび標準的なMLPベースラインと比較して、WMAPEはどの程度低減されるか？
• RQ5 ノイズ共分散における構造的事前分布や相関構造を導入することで、現在の独立した対角行列仮定を越えて性能向上が達成できるか？

主な発見

• 30個のSVGD粒子を用いたBNN（BNN-30）は、米国8都市の全都市で非ベイジアンDetNNと比較して平均WMAPEが4%低く、微調整されたMLPと比較しても10%低い。
• BNNモデルは、クリスマスやサンクスギビングなど休日付近で顕著に高い予測ばらつきを示しており、リスクの高い予測期間における適切な不確実性補正が行われていることを示している。
• 95%信用区間のカバレッジ確率は、WMAPEが上昇する長期予測ホライズンにおいても安定的または改善しており、信頼性の高い不確実性評価が実現していることを示している。
• BNN-30では全都市で平均WMAPEが0.0741を達成し、BNN-10（0.0753）およびBNN-50（0.0742）を上回っており、粒子数が30が最適であると示唆している。
• 予測分散の分解から、モデル不確実性（Covθ(E[y|θ]）が、特に異常イベント時において、総ばらつきに有意義に寄与していることが明らかになった。
• 本手法は需要の周期的パターンを適切に捉え、1-of-Kエンコーディングされた時系列特徴に応じて反応し、休日のような特別な時間窓での性能向上を実現している。