[论文解读] CD-split and HPD-split: efficient conformal regions in high dimensions

Rafael Izbicki, Gilson Shimizu+1 more|arXiv (Cornell University)|Jul 24, 2020

Machine Learning and Data Classification参考文献 35被引用 12

一句话总结

本文提出了CD-split和HPD-split，这两种基于共形预测的方法通过利用数据驱动的划分和条件密度估计，在高维设置下构建高效、任意形状的预测区域。这些方法实现了渐近条件有效性，并收敛至最高预测密度集，从而在多模态目标（如光度红移）下，生成的预测区域比基于区间的替代方法更小、更精确。

ABSTRACT

Conformal methods create prediction bands that control average coverage assuming solely i.i.d. data. Although the literature has mostly focused on prediction intervals, more general regions can often better represent uncertainty. For instance, a bimodal target is better represented by the union of two intervals. Such prediction regions are obtained by CD-split , which combines the split method and a data-driven partition of the feature space which scales to high dimensions. CD-split however contains many tuning parameters, and their role is not clear. In this paper, we provide new insights on CD-split by exploring its theoretical properties. In particular, we show that CD-split converges asymptotically to the oracle highest predictive density set and satisfies local and asymptotic conditional validity. We also present simulations that show how to tune CD-split. Finally, we introduce HPD-split, a variation of CD-split that requires less tuning, and show that it shares the same theoretical guarantees as CD-split. In a wide variety of our simulations, CD-split and HPD-split have better conditional coverage and yield smaller prediction regions than other methods.

研究动机与目标

• 开发共形预测方法，以生成比传统基于区间的方案更小、更具信息量的预测区域，尤其适用于多模态目标分布。
• 解决现有局部和条件有效性方法在高维特征空间中可扩展性和性能方面的局限性。
• 在最小假设下提供理论保证，特别是渐近条件有效性和收敛至最高预测密度集。
• 通过HPD-split（CD-split的一种变体）降低调参复杂度，该方法具有更少的超参数，同时保持理论性质。
• 在模拟和真实世界设置中展示经验优越性，尤其在目标分布通常为多模态的光度红移预测任务中。

提出的方法

• CD-split将分割共形框架与特征空间的数据驱动划分相结合，以生成适应局部条件密度结构的预测区域。
• 它使用条件密度估计器识别高预测密度区域，从而实现非区间预测集（如不相交区间的并集）。
• HPD-split是CD-split的简化版本，采用更稳定的数据驱动度量来定义邻域，从而减少超参数数量。
• 该方法依赖于一致的条件密度估计器，以确保渐近条件有效性，并收敛至最优的最高预测密度集。
• 提出一种新型数据驱动度量，用于在高维空间中定义局部邻域，提升稳定性和性能。
• 理论分析在交换性和密度估计器的一致性假设下，建立了边际有效性、局部有效性和渐近条件有效性。

实验结果

研究问题

• RQ1 共形预测方法能否在高维特征空间中构建高效、非区间的预测区域，以适应多模态条件分布？
• RQ2 在最小假设下，CD-split是否能实现渐近条件有效性并收敛至最高预测密度集？
• RQ3 HPD-split能否在减少超参数数量并提升稳定性的同时，保持CD-split的理论保证？
• RQ4 在多种模拟设置和真实数据中，CD-split与HPD-split在条件覆盖和预测区域大小方面表现如何？
• RQ5 在目标本身具有多模态特性的应用中（如光度红移估计），这些方法能否优于现有的基于区间的共形方法？

主要发现

• 在交换性与条件密度估计器一致性的假设下，CD-split和HPD-split实现了渐近条件有效性，且无需对特征与目标之间的依赖关系施加强假设。
• 在弱正则性条件下，CD-split收敛至最高预测密度集——即具有$1-\alpha$覆盖率的最小可能区域。
• 在模拟实验中，CD-split和HPD-split生成的预测区域比基于区间的方案（如Dist-split、Quantile-split和Reg-split）更小，且条件覆盖性能更优。
• 在光度红移预测中，HPD-split和CD-split + 生成的预测带比其他方法更小，尤其在目标分布为双峰的暗弱星系中表现更优。
• 实证结果表明，CD-split +（CD-split的稳定变体）通过在高维空间中使用新型数据驱动度量定义邻域，显著提升了性能。
• 这些方法在共形回归和分类任务中均表现有效，HPD-split为CD-split提供了调参复杂度更低的实际替代方案。