[論文レビュー] Adaptive Conformal Predictions for Time Series

Margaux Zaffran, Aymeric Dieuleveut+3 more|arXiv (Cornell University)|Feb 15, 2022

Stock Market Forecasting Methods被引用数 17

ひとこと要約

本稿では、時系列データにおける時間的依存性および分布シフトにさらされても有効かつ効率的な予測区間を提供する、パラメータフリーな適応的順応型コピュラ予測手法AgACIを提案する。この手法は、オンラインでエキスパート集約を行うことで、予測区間の効率性と妥当性を向上させる。Adaptive Conformal Inference (ACI)における学習率の理論的分析を実施し、多数のシミュレーションと実世界の電力価格予測事例を通じて、非交換的かつ依存的なデータ下でもAgACIが有効で狭い予測区間を達成することを示した。合成的および実世界の両設定において、既存手法を上回る性能を発揮した。

ABSTRACT

Uncertainty quantification of predictive models is crucial in decision-making problems. Conformal prediction is a general and theoretically sound answer. However, it requires exchangeable data, excluding time series. While recent works tackled this issue, we argue that Adaptive Conformal Inference (ACI, Gibbs and Cand{è}s, 2021), developed for distribution-shift time series, is a good procedure for time series with general dependency. We theoretically analyse the impact of the learning rate on its efficiency in the exchangeable and auto-regressive case. We propose a parameter-free method, AgACI, that adaptively builds upon ACI based on online expert aggregation. We lead extensive fair simulations against competing methods that advocate for ACI's use in time series. We conduct a real case study: electricity price forecasting. The proposed aggregation algorithm provides efficient prediction intervals for day-ahead forecasting. All the code and data to reproduce the experiments is made available.

研究の動機と目的

• 時系列データにおける依存性を考慮した場合の、コピュラ予測の理論的妥当性と効率性の欠如に対処すること。
• 複数のACIモデルを適応的に組み合わせることで、予測区間性能を向上させるパラメータフリーな手法の開発。
• 交換可能性および自己回帰的データの仮定下で、ACIにおける学習率の理論的影響を分析すること。
• 合成的時系列および実世界の電力価格予測タスクにおける手法の実証的評価。
• 時系列コピュラ予測の再現可能性を確保するためのオープンソースコードおよびデータを含むフレームワークの提供。

提案手法

• AgACIを提案する。これは、時間的に変化する重みを用いて複数のACIモデルを組み合わせるオンラインでエキスパート集約手法であり、予測区間の効率性を向上させる。
• 時系列データに適応させるために、ACIを再設計し、複数回の分布シフトや非交換的データに対応可能にするために逐次的モデル再適合を実装する。
• ACIにおける学習率パラメータを用いて、最近のデータおよび分布シフトへの感受性を制御し、その影響が妥当性および効率性に与える理論的分析を実施する。
• 訓練セットとキャリブレーションセットの間に時間的順序を保つために、逐次的スプリット戦略を採用する。
• 指数的重み付けを用いたオンライン集約により、時間経過に伴い最良の性能を示すACI設定を動的に選択する。
• ARMA(1,1)、AR(1)、MA(1)プロセスを含む合成的時系列および、複数の歴史的特徴を持つフランスの電力スポット価格データを用いて評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 交換可能および自己回帰的データ下で、ACIにおける学習率が予測区間の妥当性および効率性に与える影響は何か？
• RQ2 オンラインでエキスパート集約を用いることで、時間的依存性および分布シフトを伴う時系列におけるACIの性能向上は可能か？
• RQ3 合成的および実世界の時系列において、ACIおよびAgACIはEnbPIやOSSCPといった既存手法と比較して、カバレッジの妥当性および区間幅において優れているか？
• RQ4 ACIにおける無限大の予測区間は、本質的な予測課題を示しているのか。γの選択がこの挙動に与える影響は何か？
• RQ5 実世界の電力価格予測シナリオにおいて、AgACIは妥当かつ有用な予測区間を提供できるか？

主な発見

• AgACIは、ARMA(1,1)、AR(1)、MA(1)を含むすべての合成的時系列モデルで、比較手法よりも顕著に狭い平均区間幅を実現しながら、妥当な予測区間を達成した。
• φ=0.99のARMA(1,1)モデルにおいて、AgACIは平均区間幅12.14を達成し、OSSCP（13.45）およびEnbPI V2（14.21）を上回った。
• 実世界の電力価格予測タスクにおいて、γ=0.01を用いたAgACIは2019年1月25日において実測値の95.4％をカバーし、OSSCPおよびEnbPI V2より狭い区間を実現した。
• γ=0.01では、φ=0.1のケースで7.40％（γ=0.05の22.59％）に減少した無限大区間の割合は、より保守的かつ妥当な予測を示唆した。
• φ=0.99のケースでは、γ=0.05の下で3073点中560点が無限大区間となったが、γ=0.01ではそのうち53点しかカバーされなかった。これは、γ=0.05における無限大区間の90.57％が不適切なものであった可能性を示唆した。
• ランダムスプリット戦略は逐次的スプリットよりも顕著に狭い区間を生み出したが、わずかに低いカバレッジを示した。これは、スプリット戦略設計における妥協の可能性を示唆した。