[论文解读] Knowing what you know: valid and validated confidence sets in multiclass and multilabel prediction

Maxime Cauchois, Suyash Gupta+1 more|arXiv (Cornell University)|Apr 21, 2020

Machine Learning and Data Classification参考文献 38被引用 18

一句话总结

该论文提出了一种用于多分类和多标签分类的置信预测框架，通过在模型得分上进行分位数回归，保证了边际覆盖的有效性，同时实现了渐近最优的条件覆盖。该方法引入了高效的树状结构分类器以处理高维标签空间，并提供了一种即插即用的方法，兼容任意黑箱模型，在无需分布假设的前提下显著提升了覆盖均匀性。

ABSTRACT

We develop conformal prediction methods for constructing valid predictive confidence sets in multiclass and multilabel problems without assumptions on the data generating distribution. A challenge here is that typical conformal prediction methods---which give marginal validity (coverage) guarantees---provide uneven coverage, in that they address easy examples at the expense of essentially ignoring difficult examples. By leveraging ideas from quantile regression, we build methods that always guarantee correct coverage but additionally provide (asymptotically optimal) conditional coverage for both multiclass and multilabel prediction problems. To address the potential challenge of exponentially large confidence sets in multilabel prediction, we build tree-structured classifiers that efficiently account for interactions between labels. Our methods can be bolted on top of any classification model---neural network, random forest, boosted tree---to guarantee its validity. We also provide an empirical evaluation, simultaneously providing new validation methods, that suggests the more robust coverage of our confidence sets.

研究动机与目标

• 开发一种在不假设特定数据生成分布的前提下，构建多分类和多标签预测中有效置信集的方法。
• 解决标准置信预测的局限性，即其对简单样本的偏好导致覆盖不均。
• 通过在模型得分上拟合特征自适应的分位数函数，实现渐近最优的条件覆盖。
• 利用树状结构图模型高效处理多标签预测中标签组合的指数级复杂度，以捕捉标签相关性。
• 提供一种验证方法，以实证评估所提方法是否在边际保证之外实现了更好的条件覆盖。

提出的方法

• 使用分割置信推断构建具有保证边际覆盖的置信集，其独立于底层数据分布。
• 应用分位数回归对模型得分 $ s(x,y) $ 建模，以估计 $ q_\alpha(x) $，从而形成置信集 $ \{ y \mid s(x,y) \geq q_\alpha(x) \} $。
• 针对多标签问题，引入内部和外部置信集 $ C_{\text{in}}(x) \subset Y \subset C_{\text{out}}(x) $，确保 $ \mathbb{P}(C_{\text{in}}(X) \subset Y \subset C_{\text{out}}(X)) \geq 1 - \alpha $。
• 采用两阶段分位数回归直接拟合内部和外部置信集，或使用树状结构图模型编码标签依赖关系，以降低计算成本。
• 将方法扩展至多个内部/外部置信集的并集，以在保持覆盖保证的同时提升精度。
• 将该方法无缝集成到任意预训练分类器（如神经网络、随机森林、提升树）中，无需重新训练。

实验结果

研究问题

• RQ1 我们能否在多分类和多标签问题中构建置信集，实现无需分布假设的有效边际覆盖？
• RQ2 我们能否通过实现渐近最优的条件覆盖来超越边际覆盖？
• RQ3 我们如何高效处理多标签预测中标签组合的指数级增长？
• RQ4 我们能否在实践中验证所提方法是否实现了优于边际保证的覆盖？
• RQ5 树状结构模型在多标签设置中在多大程度上降低了计算成本，同时保持了覆盖性能？

主要发现

• 在样本量增大且满足弱正则性条件时，所提方法实现了渐近最优的条件覆盖。
• 实证评估表明，与标准置信方法相比，该方法在不同数据子群体中提供了更均匀的覆盖。
• 通过使用多个内部/外部置信集的并集，置信集的平均大小最多可减少四倍（即 $ 2^m $，当 $ m=2 $ 时）。
• 该方法在所有测试数据集（包括用于多标签分类的 Pascal-VOC）中均保持了有效的边际覆盖。
• 验证框架成功检测到条件覆盖的改进，证实该方法已超越边际保证。
• 树状结构模型有效捕捉了标签相关性，并在不损失覆盖性能的前提下降低了多标签预测中的计算复杂度。