[論文レビュー] Comparison of Uncertainty Quantification with Deep Learning in Time Series Regression

Levente Foldesi, Matías Valdenegro-Toro|arXiv (Cornell University)|Nov 11, 2022

Neural Networks and Applications被引用数 5

ひとこと要約

この論文は、PM2.5および気圧データセットを用いて、時系列回帰における深層学習の不確実性評価手法を評価している。モンテカルロドロップアウト、アンサンブル、ベイジアンニューラルネットワークなどの手法をMLPおよびLSTMモデルで比較し、アンサンブルとドロップアウトベースのアプローチが、予測の先行時間に伴い不確実性が増加し、信頼度と誤差が整合するという、重要な不確実性の期待を最もよく満たしていることが判明した。

ABSTRACT

Increasingly high-stakes decisions are made using neural networks in order to make predictions. Specifically, meteorologists and hedge funds apply these techniques to time series data. When it comes to prediction, there are certain limitations for machine learning models (such as lack of expressiveness, vulnerability of domain shifts and overconfidence) which can be solved using uncertainty estimation. There is a set of expectations regarding how uncertainty should ``behave". For instance, a wider prediction horizon should lead to more uncertainty or the model's confidence should be proportional to its accuracy. In this paper, different uncertainty estimation methods are compared to forecast meteorological time series data and evaluate these expectations. The results show how each uncertainty estimation method performs on the forecasting task, which partially evaluates the robustness of predicted uncertainty.

研究の動機と目的

• 時系列回帰における異なる不確実性評価手法が、予測の先行時間に伴い不確実性が増加するといった期待される挙動をどの程度満たしているかを評価すること。
• 異なる深層学習アーキテクチャ（MLP 対 LSTM）およびデータセット（PM2.5 および気圧）における不確実性推定の頑健性を評価すること。
• 高リスクな予測応用において、予測精度と信頼性のある不確実性キャリブレーションの両立を最もよく果たす不確実性推定技術を特定すること。
• 一般的に想定される不確実性の性質—誤差に比例することや、先行時間に伴い増加すること—が、現在の深層学習手法によって満たされているかどうかを調査すること。

提案手法

• PM2.5濃度および気圧測定値の2つの環境時系列データセットに対して、フィードフォワードMLPおよび再帰的LSTMモデルを訓練した。
• 6つの不確実性評価手法を適用した：ベースラインのガウス分布NLL損失、モンテカルロドロップアウト、MC-DropConnect、Flipout、ベイズ・バイ・バックプロパゲーション（BBB）、およびモデルアンサンブル。
• 評価指標として、平均二乗誤差（MSE）、平均絶対パcent誤差（MAPE）、決定係数（R²）、キャリブレーション誤差、負の対数尤度（NLL）、予測先行時間の一貫性を用いた。
• 信頼度対誤差プロットおよび12の将来タイムステップにわたる先行時間ごとの不確実性トレンドを用いて、不確実性の挙動を評価した。
• データを1時間ごとの間隔に前処理し、12個の過去タイムステップを用いて1つの将来タイムステップを予測し、最大12ステップ先までの拡張された先行時間評価を実施した。
• Adam最適化法を用いて100エポック訓練し、初期学習率を0.001とした。不確実性は予測された平均μ(x)および標準偏差σ(x)を用いて評価した。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルの不確実性推定は、時系列予測において期待されるように、予測の先行時間に伴い適切に増加するのか？
• RQ2 異なる不確実性評価手法は、信頼度対誤差プロットで測定されるように、モデルの信頼度と実際の予測誤差をどの程度うまく一致させているのか？
• RQ3 ドロップアウト、アンサンブル、BBB、その他の手法の中から、両方のデータセットおよびモデルタイプにわたって、最も信頼性がありキャリブレーションが適切な不確実性推定をもたらすのはどれか？
• RQ4 再帰的（LSTM）とフィードフォワード（MLP）アーキテクチャは、分野固有の期待に応える不確実性推定をどの程度の能力で行っているのか？
• RQ5 時系列に適応しないデータを想定した標準的な不確実性手法は、時系列に適応して効果的に変更できるのか、それとも順序依存性を捉えられず、不確実性の挙動に欠落をきたすのか？

主な発見

• アンサンブルとモンテカルロドロップアウトは、両方のデータセットおよびモデルアーキテクチャにおいて、キャリブレーション誤差、NLL、MAPEの観点で他の手法を一貫して上回った。
• ベースラインモデル（ガウス分布NLL損失）は、PM2.5データセットにおいて、先行時間に伴う不確実性の増加を予測するという点で最も優れた性能を示したが、他の指標では失敗した。
• 気圧データセットでは、MLPドロップアウトモデルがMAPE（1）とNLL（4）が最低となり、先行時間の期待を最もよく満たした。予測時間が経過するにつれて不確実性が増加する傾向を示した。
• LSTMモデルにアンサンブルおよびドロップアウトによる不確実性推定を適用した場合、信頼度対誤差プロットで優れた性能を示し、信頼性のあるキャリブレーションが得られた。
• 特定の指標においては、どの手法もすべての期待を満たさなかった：アンサンブルとドロップアウトは全体的に優れていたが、特定の状況では仮定を破った。
• モデルアーキテクチャの選択（MLP 対 LSTM）は、不確実性の挙動に顕著な影響を与えた—非再帰的モデルは先行時間に伴う不確実性トレンドをよりよく捉えていたが、再帰的モデルは信頼度と誤差の一致性が優れていた。