[论文解读] Conformal prediction with localization

Leying Guan|arXiv (Cornell University)|Aug 22, 2019

Anomaly Detection Techniques and Applications参考文献 23被引用 20

一句话总结

本文提出了一种局部化置信预测方法，这是一种新颖的方法，通过聚焦于每个测试点周围的局部邻域来构建有限样本有效的预测区间，从而提升传统置信预测的性能。通过根据训练样本与测试输入的距离赋予不同权重，该方法在异质误差结构下提高了覆盖率的准确性，同时保持了无需假设的有限样本覆盖率保证。

ABSTRACT

We propose a new method called localized conformal prediction, where we can perform conformal inference using only a local region around a new test sample to construct its confidence interval. Localized conformal inference is a natural extension to conformal inference. It generalizes the method of conformal prediction to the case where we can break the data exchangeability, so as to give the test sample a special role. To our knowledge, this is the first work that introduces such a localization to the framework of conformal prediction. We prove that our proposal can also have assumption-free and finite sample coverage guarantees, and we compare the behaviors of localized conformal prediction and conformal prediction in simulations.

研究动机与目标

• 解决标准置信预测的局限性，即不考虑训练样本与测试点的距离远近，一视同仁地对待所有训练样本。
• 开发一种方法，使距离较近的训练样本具有更大的影响力，以更好地捕捉预测不确定性中的局部异质性。
• 在允许测试样本在推断中扮演特殊角色的同时，保持有限样本、无需假设的覆盖率保证。
• 提供一个理论基础坚实的局部化置信预测框架，该框架可推广标准置信预测方法。
• 通过模拟实验和真实世界案例，证明该方法在捕捉异方差误差结构方面的优越性。

提出的方法

• 引入一个局部化函数 $ H(X_i) $，用于为距离测试点 $ X_{n+1} $ 较近的训练样本 $ X_i $ 赋予更高的权重，例如通过最近邻或基于距离的核函数实现。
• 通过构建基于权重的符合性得分 $ V_i $ 的加权经验分布，对置信预测框架进行修改，其中权重与 $ H(X_i) $ 成正比，并为测试样本包含 $ \infty $。
• 将预测区间 $ \hat{C}(x) $ 定义为所有满足测试样本符合性得分 $ V(x,y) $ 低于加权经验分布的 $ \tilde{\alpha} $-分位数的 $ y $ 值集合。
• 合理选择 $ \tilde{\alpha} $，以确保即使在依赖数据的得分函数下，有限样本覆盖率概率也 $ \geq \alpha $。
• 采用数据驱动的调参程序选择局部化函数带宽 $ h $，以最小化覆盖度与区间长度之间权衡的准则。
• 通过将特征投影到低维空间 $ t(x) $（如与符合性得分最大互信息方向）的方式，将该方法应用于高维设定。

实验结果

研究问题

• RQ1 我们能否在保持有限样本覆盖率保证的前提下，构建能够适应误差方差局部异质性的预测区间？
• RQ2 如何在不破坏置信推断有效性的情况下，使距离较近的训练样本具有更大的影响力？
• RQ3 在不违反交换性假设的前提下，使用局部化权重进行置信预测的理论依据是什么？
• RQ4 在异方差误差下，局部化置信预测与标准置信预测在区间宽度和覆盖率准确性方面有何比较优势？
• RQ5 该方法能否扩展至依赖数据的得分函数和高维特征空间，并在理论上保证性能？

主要发现

• 即使在输入空间中误差方差呈现异质性，局部化置信预测仍能实现有限样本覆盖率概率 $ \geq \alpha $。
• 在异方差误差的模拟实验中，局部化方法比标准置信预测更准确地捕捉了真实的条件预测区间，如图1和图4所示。
• 对于 $ p = 3 $ 和 $ p = 500 $ 的情形，所有方法（标准与局部化置信预测）的覆盖率均接近名义水平 $ \alpha = 0.95 $，且局部化方法在区间形状保真度方面表现更优。
• 最近邻和基于距离的局部化函数均优于标准置信预测，在捕捉符合性得分的真实异方差结构方面表现更佳。
• 数据驱动的带宽选择程序有效平衡了覆盖率与区间长度，最小化了经验覆盖不足与区间大小的乘积。
• 在高维设定下，使用与 $ V_i $ 和 $ X_{i,j} $ 之间互信息最大的特征方向，显著提升了性能，证明了该方法对维度的鲁棒性。