[論文レビュー] Conformal prediction set for time-series

Xu Chen, Yao Xie|arXiv (Cornell University)|Jun 15, 2022

Neural Networks and Applications被引用数 4

ひとこと要約

本稿では、時系列分類のためのアンサンブルベースで分布に依存しないコンフォーマル予測フレームワークERAPSを提案する。この手法は、データの交換可能性を仮定しないで有効な予測集合を構築する。理論的にカバレッジギャップを上限付けし、SAPS や Naive といった競合手法と比較して、より小さく正確な予測集合を実現する。複雑な時系列的依存関係下でも、マージナルおよび条件付きカバレッジの有効性を維持する。

ABSTRACT

When building either prediction intervals for regression (with real-valued response) or prediction sets for classification (with categorical responses), uncertainty quantification is essential to studying complex machine learning methods. In this paper, we develop Ensemble Regularized Adaptive Prediction Set (ERAPS) to construct prediction sets for time-series (with categorical responses), based on the prior work of [Xu and Xie, 2021]. In particular, we allow unknown dependencies to exist within features and responses that arrive in sequence. Method-wise, ERAPS is a distribution-free and ensemble-based framework that is applicable for arbitrary classifiers. Theoretically, we bound the coverage gap without assuming data exchangeability and show asymptotic set convergence. Empirically, we demonstrate valid marginal and conditional coverage by ERAPS, which also tends to yield smaller prediction sets than competing methods.

研究の動機と目的

• 時系列分類のためのコンフォーマル予測フレームワークを開発すること。交換可能性の仮定は、逐次的データにおいて制限的である。
• 特徴量と応答変数の任意の依存構造下でも、マージナルおよび条件付きカバレッジが有効な予測集合を構築すること。
• アンサンブル手法と適応的非適合スコアリングを活用することで、効率性と正確性を向上させること。
• i.i.d. または交換可能性の仮定なしに、カバレッジギャップの理論的上限を付与し、漸近的収束を示すこと。
• 実世界の時系列データセットを用いた実験的妥当性評価を通し、より小さな集合サイズと頑健なカバレッジを示すこと。

提案手法

• ERAPS は、任意の分類器のアンサンブルを用いてクラス確率を推定し、モデルの不確実性に対して頑健性を発揮する。
• 予測されたクラス確率に基づいて非適合スコアを計算し、過去の観測値のローリングウインドウを用いてこれらのスコアの経験的分布を推定する。
• 予測集合は、非適合スコアが過去の非適合スコアの経験的分布の $(1 - \alpha)$-分位数未満に位置するすべてのクラスを含むことで構築される。
• 時間的依存性を考慮した重み付け方式を採用することで、交換可能性に欠ける設定下での性能を向上させる。
• 理論的分析により、全変動距離を用いてカバレッジギャップの上限を付与し、予測集合が真の条件付きカバレッジ水準に漸近的に収束することを確立する。
• フレームワークは基本分類器の選択に依存しないため、ロジスティック回帰、ランダムフォレスト、深層ニューラルネットワークなどに応用可能である。

実験結果

リサーチクエスチョン

• RQ1 交換可能性の仮定なしに、コンフォーマル予測が時系列分類に効果的に拡張可能か？
• RQ2 時間的依存関係下でも、アンサンブルベースのアプローチが時系列分類における予測集合の正確性とサイズを改善できるか？
• RQ3 ERAPS は、交換可能性に欠ける依存的時系列設定下でも有効なマージナルおよび条件付きカバレッジを達成できるか？
• RQ4 SAPS や Naive といった既存のコンフォーマル予測手法と比較して、ERAPS は集合サイズとカバレッジ有効性において優れているか？
• RQ5 一般の依存構造下で、カバレッジギャップおよび集合収束に対する理論的保証はどのようなものか？

主な発見

• ERAPS は、複雑な時系列的依存関係を示すすべてのテストデータセットで有効なマージナルおよび条件付きカバレッジを達成した。
• SAPS や Naive と比較して、一貫してより小さな予測集合を生成し、一部のストラタでは30％まで集合サイズを削減したが、カバレッジを損なわずに実現した。
• ほとんどのストラタで条件付きカバレッジが維持されたが、まれな外れ値ケース（例：作物データでの α=0.15）ではわずかな過小カバレッジが観察された。
• 理論的分析により、交換可能性の仮定なしにカバレッジギャップが上限付きであり、予測集合が真のカバレッジ水準に漸近的に収束することが示された。
• 実験的結果により、ERAPS は非アンサンブルベースのベースラインと比較して、カバレッジ有効性および集合サイズ効率性の両面で優れた性能を示した。
• フレームワークは分類器の選択に頑健であり、深層ニューラルネットワークを含む多様な基本分類器においても強力な性能を維持した。