[論文レビュー] Distribution Free Prediction Bands

Jing Lei, Larry Wasserman|arXiv (Cornell University)|Mar 24, 2012

Control Systems and Identification参考文献 30被引用数 13

ひとこと要約

本稿では、有限標本におけるマージナルおよびローカルな妥当性を保証し、漸近的に条件付きカバレッジを達成し、正則性条件下でミニマックス最適レートでオラクルバンドに収束する、分布に依存しない非パラメトリックな予測バンドであるCOPS（Conformal Optimized Prediction Set）を提案する。この手法は、順応的バンド幅選択を用いる非パラメトリックな条件付き密度推定と順忺的予測を組み合わせており、最適な効率性を達成する。

ABSTRACT

We study distribution free, nonparametric prediction bands with a special focus on their finite sample behavior. First we investigate and develop different notions of finite sample coverage guarantees. Then we give a new prediction band estimator by combining the idea of "conformal prediction" (Vovk et al. 2009) with nonparametric conditional density estimation. The proposed estimator, called COPS (Conformal Optimized Prediction Set), always has finite sample guarantee in a stronger sense than the original conformal prediction estimator. Under regularity conditions the estimator converges to an oracle band at a minimax optimal rate. A fast approximation algorithm and a data driven method for selecting the bandwidth are developed. The method is illustrated first in simulated data. Then, an application shows that the proposed method gives desirable prediction intervals in an automatic way, as compared to the classical linear regression modeling.

研究の動機と目的

• マージナルカバレッジのみではなく、より強い有限標本カバレッジ保証を有する予測バンドの開発。
• 従来の順忺的予測手法の限界を克服し、マージナルと条件付きカバレッジの間をつなぐ新たなローカル妥当性の概念を導入。
• 滑らかさの条件下で非パラメトリック予測において、漸近的条件付きカバレッジとミニマックス最適効率を達成。
• 予測バンド推定におけるバンド幅選択を完全に自動化し、データ駆動型の手法を提供。

提案手法

• ローカル妥当性という新しい概念を導入し、マージナルカバレッジより強く、条件付きカバレッジより弱い有限標本カバレッジを保証。
• カーネルスムージングを用いた非パラメトリックな条件付き密度推定と順忺的予測を組み合わせたCOPSという予測バンド推定器を提案。
• 計算コストを削減しながら有限標本の妥当性を維持するための高速近似アルゴリズムを採用。
• 予測集合のサイズを最適化するために、交差検証型基準を最小化するデータ駆動型バンド幅選択法を用いる。
• ホーラー滑らかさ条件下での予測バンドの推定誤差に対するミニマックス下界を導出。
• 一般化されたファノの補題を適用し、推定誤差の下界を確立し、COPSが滑らかな密度のクラス上でミニマックス最適レートを達成していることを証明。

実験結果

リサーチクエスチョン

• RQ1 マージナル妥当性よりも強い有限標本カバレッジを保証するが、分布に依存しない予測バンドを構築することは可能か？
• RQ2 やや弱い正則性条件のもとで、非パラメトリックな予測バンドにおいて漸近的条件付きカバレッジを達成することは可能か？
• RQ3 ホーラー滑らかさ仮定の下で、非パラメトリックな予測バンドのミニマックス最適収束レートは何か？
• RQ4 有限標本の妥当性と効率性の両方を満たすデータ駆動型バンド幅選択法をどのように設計できるか？
• RQ5 計算的に効率的でありながら、カバレッジとサイズの点で漸近的に最適な予測バンド推定器は可能か？

主な発見

• COPSは、被覆分布に密度が存在しない場合を含め、いかなる分布的仮定もおこなわず、有限標本におけるマージナルおよびローカル妥当性を達成する。
• 標準的な正則性条件下で、COPSは漸近的に条件付きカバレッジを達成し、標本サイズが増加するにつれて条件付きカバレッジ誤差が消滅する。
• COPSは、ホーラー滑らかさパラメータ $ \beta $ を用いて、レート $ (\log n / n)^{1/(d+2+1/\beta)} $ でオラクル予測バンドにミニマックス最適レートで収束する。
• 推定誤差のミニマックス下界は、COPSが達成する上界と一致しており、$ \beta $-ホーラー滑らかな密度のクラス上で、COPSがミニマックス意味で最適であることが証明される。
• データ駆動型バンド幅選択法により、手動のチューニングを必要とせず、予測バンドの効率性と妥当性が両立される。
• 有限標本の妥当性を維持しながら、計算コストを顕著に削減する高速近似アルゴリズムが開発され、大規模データセットへの実用的応用が可能になる。