[论文解读] Computing Full Conformal Prediction Set with Approximate Homotopy

Eugène Ndiaye, Ichiro Takeuchi|arXiv (Cornell University)|Sep 20, 2019

Machine Learning and Algorithms被引用 4

一句话总结

本文提出了一种高效的同伦连续方法，通过以有界误差近似求解正则化经验风险最小化问题，来计算一般回归模型的完整共形预测集合。该方法仅需有限次模型拟合，即可实现近乎精确的共形预测，并在逼近容差减小时收敛至精确集合，兼具计算效率与强覆盖保证。

ABSTRACT

If you are predicting the label $y$ of a new object with $\hat y$, how confident are you that $y = \hat y$? Conformal prediction methods provide an elegant framework for answering such question by building a $100 (1 - α)\%$ confidence region without assumptions on the distribution of the data. It is based on a refitting procedure that parses all the possibilities for $y$ to select the most likely ones. Although providing strong coverage guarantees, conformal set is impractical to compute exactly for many regression problems. We propose efficient algorithms to compute conformal prediction set using approximated solution of (convex) regularized empirical risk minimization. Our approaches rely on a new homotopy continuation technique for tracking the solution path with respect to sequential changes of the observations. We also provide a detailed analysis quantifying its complexity.

研究动机与目标

• 为解决一般回归问题中精确全共形预测因需拟合无限多个模型而导致的计算不可行性。
• 开发一种可扩展的方法，通过有限次模型拟合近似共形预测集合，并控制误差。
• 在弱 i.i.d. 和对称性假设下，确保结果预测集合保持有效的覆盖性质。
• 为凸的、正则化的回归估计器提供理论复杂度界与实际计算效率。
• 证明高精度优化对实现近似最优预测集合并非必要。

提出的方法

• 提出一种新颖的同伦连续技术，用于追踪当新测试点标签变化时正则化风险最小化问题的近似解。
• 利用损失函数的正则性，基于新数据界定优化误差的变化，从而实现高效更新。
• 使用候选标签的有限网格 $ z \in [y_{\min}, y_{\max}] $ 来近似完整解路径，所需拟合次数在平滑损失下呈 $ O(1/\sqrt{\epsilon}) $ 量级。
• 基于近似残差构建预测集合，其分位数型共形性评分通过 $ \epsilon $-解导出的误差界进行调整。
• 采用 Fenchel-Legendre 对偶性与对偶间隙分析，控制近似误差并确保覆盖有效。
• 将该方法应用于线性和非线性模型，包括岭回归、Lasso 以及 logcosh 和 linex 等非二次损失。

实验结果

研究问题

• RQ1 我们能否在不为所有可能标签进行精确重拟合的前提下，高效计算一般凸回归模型的全共形预测集合？
• RQ2 模型拟合中的近似误差如何影响结果预测集合的覆盖性和大小？
• RQ3 使用有界误差的同伦连续方法近似共形集合的理论复杂度是多少？
• RQ4 即使使用次优解，所提方法是否仍能保持有效覆盖？与分割法相比表现如何？
• RQ5 高精度优化在多大程度上能提升预测集合质量？在何种情况下可省略？

主要发现

• 所提方法在所有测试 $ \epsilon $ 水平下均实现近乎完美的经验覆盖（例如 $ \alpha = 0.1 $ 时为 0.92），与理想情况表现一致。
• 即使 $ \epsilon $ 增大，预测集合长度仍持续小于分割法结果，表明区间更紧凑。
• 计算时间随 $ \epsilon $ 增大而增加，例如在波士顿数据集上 $ \epsilon = 10^{-8} $ 时约需 37 秒，但对中等 $ \epsilon $ 仍具可行性。
• 对于平滑损失，所需模型拟合次数为 $ O(1/\sqrt{\epsilon}) $，可高效近似完整解路径。
• 当 $ \epsilon \to 0 $ 时，方法收敛至精确共形集合；在正则性条件下，近似集合包含精确集合。
• 高精度优化带来的增益有限——$ \epsilon = 10^{-2} $ 时的预测集合在长度与覆盖性上已与精确集合非常接近。