[论文解读] Conformal Prediction Sets with Limited False Positives

Adam Fisch, Tal Schuster+2 more|arXiv (Cornell University)|Feb 15, 2022

Machine Learning and Data Classification被引用 4

一句话总结

该论文提出了一种共形预测框架，通过引入 k-FP（k-限制假阳性）目标，限制多标签预测集中的假阳性数量，确保每个预测集中至多有 k 个假阳性，同时保持有效的覆盖率。该方法使用基于 DeepSets 的集合函数对标签进行排序并构建预测集，在真实阳性率较低或模型分离性较差的情况下，仍能实现高真实阳性召回率，同时控制假阳性数量。

ABSTRACT

We develop a new approach to multi-label conformal prediction in which we aim to output a precise set of promising prediction candidates with a bounded number of incorrect answers. Standard conformal prediction provides the ability to adapt to model uncertainty by constructing a calibrated candidate set in place of a single prediction, with guarantees that the set contains the correct answer with high probability. In order to obey this coverage property, however, conformal sets can become inundated with noisy candidates -- which can render them unhelpful in practice. This is particularly relevant to practical applications where there is a limited budget, and the cost (monetary or otherwise) associated with false positives is non-negligible. We propose to trade coverage for a notion of precision by enforcing that the presence of incorrect candidates in the predicted conformal sets (i.e., the total number of false positives) is bounded according to a user-specified tolerance. Subject to this constraint, our algorithm then optimizes for a generalized notion of set coverage (i.e., the true positive rate) that allows for any number of true answers for a given query (including zero). We demonstrate the effectiveness of this approach across a number of classification tasks in natural language processing, computer vision, and computational chemistry.

研究动机与目标

• 为解决在真实阳性稀少或与假阳性分离性差时，控制多标签共形预测中假阳性数量的挑战。
• 开发一种方法，确保在有限样本、分布无关假设下，每个预测集中至多包含 k 个假阳性，同时保持有效覆盖率。
• 提升在实际应用中的实用性，其中过多假阳性会造成高昂代价，例如在医学诊断或药物发现中。
• 实现用户可灵活定义的假阳性上限（k），可根据应用中的风险承受能力进行调整。
• 设计一种高效、可扩展的框架，在信号-噪声比低的条件下仍能保持高真实阳性召回率。

提出的方法

• 该方法引入 k-FP（k-限制假阳性）目标，即预测集被约束为至多包含 k 个假阳性。
• 使用基于 DeepSets 的集合函数来建模标签子集的一致性，从而联合考虑标签之间的相互作用。
• 算法根据估计的边际一致性得分 pθ(y_c ∈ Z|x) 对候选集合进行排序，选择满足 k-FP 约束的最大集合。
• 通过非一致性得分对框架进行校准，确保在交换性假设下具有有限样本有效性与边际覆盖率。
• 通过按一致性得分递减顺序迭代添加标签，构建嵌套的候选集合，从而保证假阳性数量的单调性。
• 该方法对模型误设具有鲁棒性，在真实阳性与假阳性未充分分离时仍表现良好。

实验结果

研究问题

• RQ1 我们能否构建一种共形预测集，将假阳性数量限制在用户指定的 k 以内，同时保持有效覆盖率？
• RQ2 当真实阳性稀少或被基模型排名靠后时，k-FP 目标的表现如何？
• RQ3 基于 DeepSets 的集合函数能否有效建模标签依赖关系，从而在假阳性约束下提升预测集质量？
• RQ4 与基于 FDR 的方法相比，k-FP 方法在假阳性控制与真实阳性召回方面表现如何？
• RQ5 所提出的方法在信号较弱、模型置信度较低的场景下是否具备可扩展性与有效性？

主要发现

• 所提出的 k-FP 方法确保每个预测集中至多 k 个假阳性，同时保持有限样本有效性与边际覆盖率。
• 即使真实阳性的自然发生率较低或与假阳性分离性差，该方法仍能实现高真实阳性召回率。
• 在 FDR 控制失效的场景中（例如，需 FDR < 0.5 才能包含一个真实阳性），k-FP 方法仍可在 k=1 时包含真实阳性。
• 基于 DeepSets 的集合函数通过建模标签依赖关系提升了性能，在复杂标签结构下优于简单的边际一致性评分。
• 由于显式引入了假阳性约束，该框架在基模型对真实与假阳性分离性较差时仍保持有效性。
• 该方法对模型不确定性具有鲁棒性，在不同标签空间大小与数据分布下均保持强劲性能。