[论文解读] Knowing what you know: valid confidence sets in multiclass and multilabel prediction.

Maxime Cauchois, Suyash Gupta+1 more|arXiv (Cornell University)|Apr 21, 2020

Machine Learning and Data Classification被引用 9

一句话总结

本文提出了一种用于多分类和多标签分类的置信预测方法，无需分布假设即可确保边际覆盖和渐近最优的条件覆盖。通过整合分位数回归的洞见与树状结构分类器，该方法在高效处理标签相互作用的同时，保证了有效置信集的生成，并可扩展至高维标签空间。

ABSTRACT

We develop conformal prediction methods for constructing valid predictive confidence sets in multiclass and multilabel problems without assumptions on the data generating distribution. A challenge here is that typical conformal prediction methods---which give marginal validity (coverage) guarantees---provide uneven coverage, in that they address easy examples at the expense of essentially ignoring difficult examples. By leveraging ideas from quantile regression, we build methods that always guarantee correct coverage but additionally provide (asymptotically optimal) conditional coverage for both multiclass and multilabel prediction problems. To address the potential challenge of exponentially large confidence sets in multilabel prediction, we build tree-structured classifiers that efficiently account for interactions between labels. Our methods can be bolted on top of any classification model---neural network, random forest, boosted tree---to guarantee its validity. We also provide an empirical evaluation, simultaneously providing new validation methods, that suggests the more robust coverage of our confidence sets.

研究动机与目标

• 解决置信预测中因难易样本差异导致的覆盖不均问题，即在多分类和多标签问题中，简单样本优先于困难样本被覆盖。
• 开发一种方法，确保边际覆盖有效的同时，在多分类和多标签设置下实现渐近最优的条件覆盖。
• 通过树状结构分类器高效处理多标签预测中置信集的指数级增长，同时建模标签间的相互作用。
• 构建一个可应用于任何现有分类模型（如神经网络、随机森林、提升树）的框架，而无需修改基础学习器。
• 提供新的验证方法与实证证据，支持所提出置信集的鲁棒性与可靠性。

提出的方法

• 利用分位数回归原理校准预测置信集，确保条件覆盖能自适应于样本的难易程度。
• 提出一种置信预测框架，在保持边际有效性的同时，提升对困难与简单样本覆盖的一致性。
• 采用树状结构分类器建模标签间的相互作用，降低多标签预测中的计算与组合负担。
• 设计一种与模型无关的方法，可无缝集成至任意预训练分类器（包括深度神经网络与集成模型）中。
• 使用专为多标签设置设计的非一致性评分函数，实现有效置信集的高效构建。
• 应用一种校准程序，在对数据生成过程的假设最少的前提下，确保覆盖的有效性。

实验结果

研究问题

• RQ1 置信预测方法是否能在无需分布假设的前提下，实现多分类和多标签分类中的边际与条件覆盖有效性？
• RQ2 如何构建置信集以避免覆盖不均问题，即简单样本获得的保护高于困难样本？
• RQ3 在多标签预测中，如何高效管理可能标签组合的指数级增长，同时保持覆盖有效性？
• RQ4 所提出方法在不重新训练的前提下，与神经网络、随机森林等现有模型的集成程度如何？
• RQ5 在覆盖度与集合大小方面，所提出方法与标准置信预测相比，实证性能表现如何？

主要发现

• 所提方法在多分类和多标签问题中均能保证有效的边际覆盖，并实现渐近最优的条件覆盖。
• 通过借鉴分位数回归的校准策略，该方法确保了不同难易程度样本间更均衡的覆盖。
• 树状结构分类器通过建模标签依赖关系，有效减小了多标签问题中置信集的大小。
• 该方法可作为通用后处理步骤应用于任意分类模型，保留原始模型预测结果的同时增加有效性。
• 实证评估表明，所提置信集即使在标准方法失效时仍能保持稳健的覆盖，尤其在困难样本上表现突出。
• 论文中引入的新验证方法支持所提置信集在多样化场景下的可靠性与一致性。