[論文レビュー] Learning Prediction Intervals for Regression: Generalization and Calibration

Haoxian Chen, Ziyi Huang+3 more|arXiv (Cornell University)|Feb 26, 2021

Machine Learning and Data Classification参考文献 18被引用数 8

ひとこと要約

本稿は、予測区間の幅とカバレッジ精度の両方を同時に最適化する制約付き経験的最適化を通じて、回帰における予測区間の学習のための新規フレームワークを提案する。LipschitzおよびVCサブグラフクラスの一般化学習理論と、有限標本における高信頼性カバレッジを保証する高次元Berry-Esseen定理を用いたキャリブレーション手法を導入し、テストデータにおいて従来手法を上回るカバレッジ精度と区間幅の両方を達成する。

ABSTRACT

We study the generation of prediction intervals in regression for uncertainty quantification. This task can be formalized as an empirical constrained optimization problem that minimizes the average interval width while maintaining the coverage accuracy across data. We strengthen the existing literature by studying two aspects of this empirical optimization. First is a general learning theory to characterize the optimality-feasibility tradeoff that encompasses Lipschitz continuity and VC-subgraph classes, which are exemplified in regression trees and neural networks. Second is a calibration machinery and the corresponding statistical theory to optimally select the regularization parameter that manages this tradeoff, which bypasses the overfitting issues in previous approaches in coverage attainment. We empirically demonstrate the strengths of our interval generation and calibration algorithms in terms of testing performances compared to existing benchmarks.

研究の動機と目的

• 回帰の不確実性評価における予測区間の幅とカバレッジ精度のトレードオフを解消すること。
• 区間モデルの妥当性（カバレッジ）と最適性（狭い幅）の両方を保証する一般化学習理論の構築。
• 有限標本におけるカバレッジの過学習を回避するため、統計的に根拠のあるキャリブレーション手順と高信頼性保証を導入すること。
• 最小限の調整で、複数の異なる信頼水準における予測区間を同時に構築可能にする。

提案手法

• 予測区間学習を、カバレッジ制約を満たす条件下で平均幅を最小化する経験的制約付き最適化問題として定式化する。
• 同時経験過程の分散バウンズを支援する感度指標を導入し、最適性と妥当性のトレードオフを制御する。
• 高次元Berry-Esseen定理を応用して、有限標本かつ高信頼性カバレッジを保証するキャリブレーション手法を導出する。
• 統計理論に従う正則化パラメータ選択戦略を用い、過学習を防ぎ、テスト性能を向上させる。
• 符号関数の強いガウス型濃縮性を用いて、Lipschitz連続およびVCサブグラフクラスにおける一般化バウンズを確立する。
• 再トレーニングの最小限の再調整で、異なる信頼水準における複数の予測区間を同時に構築可能にする。

実験結果

リサーチクエスチョン

• RQ1 どのようにして理論的に狭い区間幅と正しいカバレッジの両方を予測区間学習で保証できるか？
• RQ2 ニューラルネットワークや回帰木のような多様なモデルクラスにおいて、カバレッジと幅の両方の最適化を支える一般化学習理論は何か？
• RQ3 過学習を回避しつつ、有限標本における高信頼性カバレッジを保証するキャリブレーション手順はどのように設計できるか？
• RQ4 提案手法は、テストデータにおいて従来手法を上回るカバレッジ精度と区間幅を達成できるか？
• RQ5 このフレームワークは、同時に複数の異なる信頼水準における予測区間を生成可能に拡張できるか？

主な発見

• 提案手法は、ベースライン手法よりも高いカバレッジ精度を達成するとともに、テストデータでは顕著に狭い予測区間を生成する。
• キャリブレーション手順により、有限標本かつ高信頼性カバレッジが保証され、区間幅と信頼性保証の両面で分割コンフォーマル推論を上回る。
• 理論的分析により、Lipschitz連続およびVCサブグラフモデルクラスにおけるカバレッジと幅の両方の一般化バウンズが確立された。
• 実験的結果から、本手法は区間幅においてコンフォーマル学習や分位数回帰を上回りつつ、カバレッジを維持または向上させている。
• フレームワークにより、意思決定の柔軟性を高めるために、異なる信頼水準における複数の予測区間を同時に生成可能である。
• 高次元Berry-Esseen定理の使用により、カバレッジ達成における過学習を回避するロバストな正則化パラメータ選択が可能になった。