[论文解读] Distribution-Free Prediction Sets with Random Effects

Robin Dunn, Larry Wasserman+1 more|arXiv (Cornell University)|Sep 20, 2018

Gaussian Processes and Bayesian Inference参考文献 14被引用 7

一句话总结

本文通过提出三种方法——CDF合并、单重抽样和重复抽样，将分位数预测扩展至处理具有随机效应的数据，证明重复抽样方法在覆盖概率与平均预测集大小之间实现了最佳平衡，确保在非交换性数据结构下的有效性。

ABSTRACT

We consider the problem of constructing distribution-free prediction sets when there are random effects. For iid data, prediction sets can be constructed using the method of conformal prediction. The validity of this prediction set hinges on the assumption that the data are exchangeable, which is not true when there are random effects. We extend the conformal method so that it is valid with random effects. We develop a CDF pooling approach, a single subsampling approach, and a repeated subsampling approach to construct conformal prediction sets in unsupervised and supervised settings. We compare these approaches in terms of coverage and average set size. We recommend the repeated subsampling approach that constructs a conformal set by sampling one observation from each distribution multiple times. Simulations show that this approach has the best balance between coverage and average conformal set size.

研究动机与目标

• 解决由于随机效应导致分位数预测在非交换性数据中存在局限性的问题。
• 在数据表现出聚类或层次结构时，开发有效的无分布假设预测集合。
• 比较多种在随机效应下扩展的分位数预测方法，以识别最有效的方法。
• 确保预测集合在保持有效覆盖概率的同时，最小化无监督和有监督设置下的平均集合大小。

提出的方法

• 提出一种CDF合并方法，通过在组间聚合累积分布函数以考虑随机效应。
• 引入一种单重抽样方法，从每组中抽取一个观测值以保持组级别结构。
• 开发一种重复抽样方法，多次从每组中抽取一个观测值以提高鲁棒性。
• 在无监督和有监督学习设置中应用这些方法，以在随机效应下保持有效性。
• 采用分位数预测原理，通过组特定的抽样策略放松交换性假设。
• 通过经验校准确保有效性，即使在数据非交换性时也能保持边际覆盖概率。

实验结果

研究问题

• RQ1 分位数预测能否扩展至在包含随机效应的数据中保持有效性？
• RQ2 在随机效应下，不同抽样策略在覆盖概率与平均预测集大小方面的表现如何比较？
• RQ3 在存在随机效应时，哪种方法在覆盖概率与集合大小之间提供了最佳权衡？
• RQ4 重复抽样是否优于CDF合并和单重抽样，以保持有效的预测集合？
• RQ5 所提出的方法能否在无监督和有监督学习场景中有效应用？

主要发现

• 在模拟实验中，重复抽样方法在覆盖概率与平均预测集大小之间实现了最佳平衡。
• 所有方法的覆盖概率均保持有效，但重复抽样方法在集合大小方面表现出更优的效率。
• CDF合并和单重抽样方法有效但效率较低，其平均集合大小明显大于重复抽样方法。
• 所提出的方法即使在因随机效应导致数据非交换性时，也能保持有效的边际覆盖概率。
• 由于在覆盖概率与集合大小之间实现了最佳权衡，推荐在实际应用中使用重复抽样方法。
• 所有方法均适用于无监督和有监督设置，将分位数预测扩展至聚类数据。