[論文レビュー] Conformal prediction interval for dynamic time-series

Xu Chen, Yao Xie|arXiv (Cornell University)|Oct 18, 2020

Gaussian Processes and Bayesian Inference参考文献 32被引用数 16

ひとこと要約

この論文では、データの交換可能性を必要としない動的時系列における逐次予測区間を構築する分布フリーな手法EnbPIを紹介する。EnbPIは任意のブートストラップアンサンブル推定器をラッピングすることで、強い混合誤差のもとで有限標本において近似的に有効な周辺カバレッジを保証する。過学習を回避し、データ分割や複数のモデルの学習を不要とすることで、多様な回帰関数に適したスケーラブルで実装が容易なソリューションを提供する。

ABSTRACT

We develop a method to construct distribution-free prediction intervals for dynamic time-series, called \Verb|EnbPI| that wraps around any bootstrap ensemble estimator to construct sequential prediction intervals. \Verb|EnbPI| is closely related to the conformal prediction (CP) framework but does not require data exchangeability. Theoretically, these intervals attain finite-sample, extit{approximately valid} marginal coverage for broad classes of regression functions and time-series with strongly mixing stochastic errors. Computationally, \Verb|EnbPI| avoids overfitting and requires neither data-splitting nor training multiple ensemble estimators; it efficiently aggregates bootstrap estimators that have been trained. In general, \Verb|EnbPI| is easy to implement, scalable to producing arbitrarily many prediction intervals sequentially, and well-suited to a wide range of regression functions. We perform extensive real-data analyses to demonstrate its effectiveness.

研究の動機と目的

• 動的時系列における予測区間を構築する手法を開発すること。これは、コンフォーマル予測における主要な仮定であるデータの交換可能性に依存しないこと。
• 強い混合誤差を示す広範なクラスの回帰関数および時系列に対して、有限標本において近似的に有効な周辺カバレッジを保証すること。
• 逐次予測において過学習を回避し、データ分割や複数のアンサンブル推定器の学習を排除すること。
• 任意の数の逐次予測区間を生成可能なスケーラブルで計算的に効率的かつ実装が容易なフレームワークを構築すること。
• 実世界の多様な時系列データにおいて、この手法の有効性を示すこと。

提案手法

• EnbPIは、任意のブートストラップアンサンブル推定器をラッピングする形で構築され、その予測結果を用いて予測区間を形成する。
• 観測値の交換可能性を仮定せず、時系列構造に適応する逐次キャリブレーション手順を用いる。
• 強い混合確率的誤差の性質を活用することで、有限標本において近似的に有効な周辺カバレッジを保証する。
• 事前に学習されたブートストラップ推定器を効率的に集約することで、過学習を回避し、再学習やデータ分割の必要性を排除する。
• EnbPIは、順次的に任意の数の予測区間を生成可能であり、スケーラビリティを維持する。
• このアプローチは分布フリーであり、モデルの誤指定に対してもロバストであるため、多様な回帰関数に適している。

実験結果

リサーチクエスチョン

• RQ1 動的時系列に対して、データの交換可能性を必要としない予測区間手法を開発できるか？
• RQ2 強い混合のような弱い自己依存性の仮定のもとで、有限標本において近似的に有効な周辺カバレッジを達成できるか？
• RQ3 過学習を回避し、データ分割や複数のアンサンブルモデルの学習を排除できるか？
• RQ4 実世界の時系列応用において、逐次予測区間を生成する際に、この手法はどれほどスケーラブルで実用的か？
• RQ5 EnbPIは多様な回帰関数および時系列データタイプにおいても信頼性を維持できるか？

主な発見

• EnbPIは、強い混合誤差を示す広範なクラスの回帰関数および時系列に対して、有限標本において近似的に有効な周辺カバレッジを達成する。
• この手法はデータの交換可能性を要件としないため、この仮定が成り立たない動的時系列にも適用可能である。
• EnbPIは過学習を回避し、データ分割や複数のアンサンブル推定器の学習を不要とすることで、計算効率が向上する。
• このアプローチはスケーラブルであり、順次的に任意の数の予測区間を効率的に生成可能である。
• 多数の実データ分析により、EnbPIが多様な時系列応用において有効かつロバストであることが確認された。
• この手法は実装が容易であり、逐次予測タスクにおける多様な回帰関数に適している。