[論文レビュー] Efficient Nonparametric Conformal Prediction Regions

Jing Lei, James M. Robins+1 more|arXiv (Cornell University)|Nov 6, 2011

Bayesian Methods and Mixture Models参考文献 5被引用数 12

ひとこと要約

本稿では、分布に関する仮定を必要とせず、核密度推定とデータ駆動型バンド幅選択を用いて、有限標本の有効性を持つ予測領域を構築する効率的な非パラメトリックな順序統計的予測手法を提案する。標準的な正則性条件の下で、予測領域の損失関数の明示的な収束速度を確立し、高次元設定において最適効率を達成する。

ABSTRACT

We investigate and extend the conformal prediction method due to Vovk,Gammerman and Shafer (2005) to construct nonparametric prediction regions. These regions have guaranteed distribution free, finite sample coverage, without any assumptions on the distribution or the bandwidth. Explicit convergence rates of the loss function are established for such regions under standard regularity conditions. Approximations for simplifying implementation and data driven bandwidth selection methods are also discussed. The theoretical properties of our method are demonstrated through simulations.

研究の動機と目的

• 分布に関する仮定やバンド幅選択を要しない状況でも、有限標本の有効性（任意の分布に対して被覆確率が1−α以上）を保証する非パラメトリックな順序統計的予測手法の開発。
• 予測領域のサイズを最小化する最適（最小体積）領域との対称差を最小化することで、予測領域の効率性を向上させること。
• 密度関数の滑らかさと尾部の挙動に関する標準的な滑らかさ条件の下で、予測領域の損失関数の明示的な収束速度を確立すること。
• 実用的な近似手法とデータ駆動型バンド幅選択法を提案し、実世界の応用における計算可能性と性能を向上させること。

提案手法

• 順序統計的予測フレームワークを用いて、$ C_n $ という予測領域を構築し、$ \bbP(Y_{n+1} \notin C_n) \to \bbP(Y_{n+1} \notin C^{(\theta)}) \to \theta $ が成り立つようにすることで、有限標本の有効性を保証する。
• 真の密度 $ p $ を推定するために核密度推定 $ \tph_n $ を用い、予測領域を $ L_n(t_n) = \{ y : \tph_n(y) \geq t_n \} $ と定義する。ここで $ t_n $ は所望の被覆率を達成するために選択される。
• 推定された損失 $ \bbE[\mu(C_n \triangle C^{(\alpha)})] $ を最小化するように、データ駆動型のバンド幅選択法を導入し、被覆率と領域サイズのバランスを取る。
• 密度の尾部に修正された $ \gamma $-指数条件を導入し、推定された閾値 $ t_n^{(\alpha)} $ の収束速度を導出。滑らかさの条件下で $ |t_n^{(\alpha)} - t^{(\alpha)}| = O\left( (\log n / n)^{\beta/(2\beta + d)} \right) $ が成り立つ。
• 集中不等式と経験過程理論を用いて、推定密度と真の密度との乖離を制御し、対称差 $ \mu(C_n \triangle C^{(\alpha)}) $ の制御を可能にする。
• 確率が $ O(n^{-\lambda}) $ である高確率事象 $ E_{n,\lambda} $ を導出し、その上で予測領域が滑らかさ $ \beta $、次元 $ d $、尾部挙動 $ \gamma $ に依存する速度で最適領域に収束することを保証する。

実験結果

リサーチクエスチョン

• RQ1 分布に関する仮定なしに、有限標本の有効性を保証しつつ、領域サイズの観点で最適な収束速度を達成する非パラメトリックな予測領域を構築できるか？
• RQ2 核密度推定におけるバンド幅をどのように選択すれば、推定された予測領域と最適領域との期待対称差を最小化できるか？
• RQ3 密度関数の滑らかさと尾部の挙動に関する標準的な条件の下で、予測領域の損失関数の収束速度はどのようになるか？
• RQ4 被覆確率の保証や計算可能性を損なわず、順序統計的予測領域を効率的に近似する方法は何か？
• RQ5 密度関数の滑らかさ、尾部挙動、および予測領域が最適な最小体積集合に収束する速度との関係は何か？

主な発見

• 提案手法による順序統計的予測領域は、有限標本の有効性を達成する：任意の $ n $ および任意の分布 $ P $ に対して $ \bbP(Y_{n+1} \in C_n) \geq 1 - \alpha $ が成り立つ。パラメトリック仮定やバンド幅に関する仮定は不要である。
• 標準的な正則性条件（滑らかさ $ \beta $、尾部挙動 $ \gamma $）の下で、推定された予測領域と最適領域との対称差は、高確率で $ \mu(C_n \triangle C^{(\alpha)}) = O\left( (\log n / n)^{\beta\gamma / (2\beta + d)} \right) $ を満たす。
• 閾値 $ t_n^{(\alpha)} $ の真の閾値 $ t^{(\alpha)} $ への収束速度は $ O\left( (\log n / n)^{\beta / (2\beta + d)} \right) $ であり、同じ滑らかさと尾部条件の下で既知のミニマックスレートと一致する。
• 与えられた滑らかさと尾部仮定の下で、損失関数 $ \mu(C_n \triangle C^{(\alpha)}) $ が最も速い可能性のある収束速度に達するという意味で、本手法は最適効率を達成する。
• データ駆動型バンド幅選択法により、有限標本の有効性を維持しつつも、予測領域の効率性を保証し、収束性と被覆率に関する理論的保証を得られる。
• シミュレーションにより理論的な収束速度が確認され、多峰性や重尾分布を含むさまざまな密度関数において、本手法のロバストネスと効率性が示された。