[論文レビュー] Uncertainty Prediction for Deep Sequential Regression Using Meta Models

Jiří Navrátil, Matthew Arnold+1 more|arXiv (Cornell University)|Jul 2, 2020

Anomaly Detection Techniques and Applications参考文献 33被引用数 5

ひとこと要約

本稿では、定常性を仮定せずに不確実性を予測する、深層逐次回帰のためのメタモデリングフレームワークを提案する。共に訓練されたベース・メタモデルを用いて、対称的および非対称的な不確実性の境界を生成する。安定したデータと変動するデータの両方のシナリオでベースラインを上回り、特に非対称境界により不確実性の幅を短縮しながらもカバレッジを維持する点で、キャリブレーションと帯域幅効率の面で顕著な向上を示す。

ABSTRACT

Generating high quality uncertainty estimates for sequential regression, particularly deep recurrent networks, remains a challenging and open problem. Existing approaches often make restrictive assumptions (such as stationarity) yet still perform poorly in practice, particularly in presence of real world non-stationary signals and drift. This paper describes a flexible method that can generate symmetric and asymmetric uncertainty estimates, makes no assumptions about stationarity, and outperforms competitive baselines on both drift and non drift scenarios. This work helps make sequential regression more effective and practical for use in real-world applications, and is a powerful new addition to the modeling toolbox for sequential uncertainty quantification in general.

研究の動機と目的

• 逐次回帰タスクにおける深層再帰的ネットワークの信頼性の低い不確実性推定の欠如に対処すること。
• 定常性を仮定せず、制限的なデータ仮定を必要としない柔軟な不確実性評価手法の開発。
• 実世界の応用で一般的な課題であるデータドリフト下でのモデルのキャリブレーションと頑健性の向上。
• 予測の信頼性を維持しながら帯域幅コストを低減する非対称な不確実性境界の実現。
• ドリフト状態下における逐次回帰の不確実性品質を評価するための新しい評価フレームワークの導入。

提案手法

• 本手法は、ベースモデルが逐次回帰を実行し、メタモデルがベースモデルの誤差行動を予測するメタモデリングフレームワークを採用する。
• ベースモデルとメタモデルをエンドツーエンドで同時に訓練するための共同訓練戦略（JMS）を用いる。これにより、メタモデルが豊富な内部表現にアクセス可能になる。
• メタモデルは、ベースモデルの予測誤差の分布をモデル化することで不確実性を予測し、対称的および非対称的な信頼区間の両方を可能にする。
• 非対称境界は、上側および下側の誤差方向を別々に予測する専用の出力ヘッドを用いて生成され、帯域幅効率が向上する。
• 評価にはExcess-DeficitおよびBandwidth指標を用い、ドリフト下での汎化性能を検証するための交差検証を実施する。
• 本手法は、GARCH、変分ドロップアウト、アンサンブル手法などのベースラインと比較され、MIT TrafficおよびSPE9PRの2つの実世界データセットを用いて評価された。

実験結果

リサーチクエスチョン

• RQ1 定常性を仮定しない条件下で、メタモデリングアプローチが深層逐次回帰における不確実性評価を改善できるか？
• RQ2 ベースモデルとメタモデルを共同で訓練する戦略は、ホワイトボックスまたはブラックボックスのメタモデリングと比較して、不確実性の質においてどのように異なるか？
• RQ3 非対称な不確実性境界は、帯域幅を短縮しながらも、逐次回帰におけるカバレッジを維持または向上させられるか？
• RQ4 実世界の展開における主な課題であるデータドリフト下で、本手法はどのように性能を発揮するか？
• RQ5 強力なベースラインと比較して、不確実性のキャリブレーションおよび帯域幅効率の相対的向上はどの程度か？

主な発見

• 共同で訓練されたメタモデル（JMS）は、一致した条件下でMITVデータセットにおいてExcess-Deficit指標で57.8％の相対的向上を達成した。
• SPE9PRデータセットのドリフト下では、JMSはExcess-Deficitで52.5％の向上を示し、GARCHやアンサンブル手法などのベースラインを顕著に上回った。
• 最適条件下で非対称JMAモデルは、平均して44.1％の不確実性帯域幅を短縮し、明確な効率的利点を示した。
• JMAモデルは、誤差の符号（方向）を正しく予測する精度が83.3％および91.1％に達し、非対称動作の妥当性が裏付けられた。
• 対称モデル（JMS）はExcess-DeficitでJMAを上回ったが、JMAは帯域幅で優位であったため、コスト感受性の高い応用において実用的利点を示した。
• 本手法は、一致した状況とドリフト状況の両方で一貫した性能を示し、多くのベースラインとは異なり、分布シフト下でも劣化が最小限に抑えられた。