[论文解读] Distribution Free Prediction Bands

Jing Lei, Larry Wasserman|arXiv (Cornell University)|Mar 24, 2012

Control Systems and Identification参考文献 30被引用 13

一句话总结

本文提出COPS（Conformal Optimized Prediction Set），一种分布无关的非参数预测带，可确保有限样本的边际和局部有效性，渐近实现条件覆盖，并在正则条件下以极小最大最优速率收敛至虚线预测带。该方法结合了推断预测与非参数条件密度估计，并采用数据驱动的带宽选择以实现最优效率。

ABSTRACT

We study distribution free, nonparametric prediction bands with a special focus on their finite sample behavior. First we investigate and develop different notions of finite sample coverage guarantees. Then we give a new prediction band estimator by combining the idea of "conformal prediction" (Vovk et al. 2009) with nonparametric conditional density estimation. The proposed estimator, called COPS (Conformal Optimized Prediction Set), always has finite sample guarantee in a stronger sense than the original conformal prediction estimator. Under regularity conditions the estimator converges to an oracle band at a minimax optimal rate. A fast approximation algorithm and a data driven method for selecting the bandwidth are developed. The method is illustrated first in simulated data. Then, an application shows that the proposed method gives desirable prediction intervals in an automatic way, as compared to the classical linear regression modeling.

研究动机与目标

• 开发一种具备有限样本覆盖保证的预测带，其覆盖强度强于仅边际覆盖。
• 通过引入一种新的局部有效性概念，弥补现有推断预测方法的局限，弥合边际覆盖与条件覆盖之间的差距。
• 在光滑性条件下，实现非参数预测中的渐近条件覆盖与极小最大最优效率。
• 提供一种数据驱动的全自动带宽选择方法，用于预测带估计。

提出的方法

• 提出一种新的局部有效性的概念，确保有限样本覆盖强度强于边际但弱于条件覆盖。
• 提出COPS，一种结合推断预测与基于核平滑的非参数条件密度估计的预测带估计器。
• 采用快速近似算法以降低计算成本，同时保持有限样本有效性。
• 基于最小化交叉验证型准则的数据驱动带宽选择方法，以优化预测集大小。
• 推导在Hölder光滑性条件下预测带估计误差的极小最大下界。
• 应用广义Fano引理建立估计误差的下界，证明COPS在光滑密度类上达到极小最大最优速率。

实验结果

研究问题

• RQ1 能否构建一种有限样本预测带，确保其覆盖强度强于边际有效性，同时保持分布无关？
• RQ2 在较弱正则性条件下，是否可在非参数预测带中实现渐近条件覆盖？
• RQ3 在Hölder光滑性假设下，非参数预测带的极小最大最优收敛速率是多少？
• RQ4 如何设计一种数据驱动的带宽选择方法，以同时保证有限样本有效性与效率？
• RQ5 能否使预测带估计器在计算效率与覆盖及大小的渐近最优性之间达到平衡？

主要发现

• COPS在无需任何分布假设（包括底层分布无密度）的情况下，实现了有限样本的边际与局部有效性。
• 在标准正则性条件下，所提方法可确保渐近条件覆盖，即随着样本量增加，条件覆盖误差趋于零。
• COPS以极小最大最优速率 $ (\log n / n)^{1/(d+2+1/\beta)} $ 收敛至虚线预测带，其中 $ \beta $ 为Hölder光滑性参数。
• 估计误差的极小最大下界与COPS实现的上界一致，证明该方法在 $ \beta $-Hölder光滑密度类上达到极小最大最优性。
• 数据驱动的带宽选择方法确保预测带在无需人工调参的情况下兼具高效性与有效性。
• 开发了一种快速近似算法，在显著降低计算成本的同时保持有限样本有效性，使方法可实际应用于大规模数据集。