[论文解读] Making learning more transparent using conformalized performance prediction

Matthew J. Holland|arXiv (Cornell University)|Jul 9, 2020

Machine Learning and Algorithms参考文献 19被引用 4

一句话总结

本文提出了符合性性能预测（CPP），这是一种新颖的框架，将符合性预测扩展至为机器学习算法在未见数据上的性能提供有效、校准且透明的性能保证。通过将算法本身视为对其未来性能的预测器，CPP 利用交换性和非符合性得分，对一般学习过程实现不确定性量化，在最小假设下确保有限样本有效性与校准性。

ABSTRACT

In this work, we study some novel applications of conformal inference techniques to the problem of providing machine learning procedures with more transparent, accurate, and practical performance guarantees. We provide a natural extension of the traditional conformal prediction framework, done in such a way that we can make valid and well-calibrated predictive statements about the future performance of arbitrary learning algorithms, when passed an as-yet unseen training set. In addition, we include some nascent empirical examples to illustrate potential applications.

研究动机与目标

• 解决将机器学习算法应用于新数据时缺乏透明、可靠性能保证的问题。
• 将符合性预测从预测集扩展至量化学习算法自身预期性能。
• 在最小假设下，为算法性能提供有限样本、分布自由的保证。
• 为非机器学习专家提供实用且可解释的性能陈述。
• 通过分类和优化中的实证示例，展示该方法的有效性与校准性。

提出的方法

• 提出符合性性能预测（CPP）作为符合性预测的扩展，用于预测学习算法在新数据上的性能。
• 使用训练集训练算法，并使用独立的校准集基于算法在保留数据上的损失计算非符合性得分。
• 利用算法的交换性与对称性，确保性能预测区间的有限样本有效性。
• 通过交叉验证损失计算的非符合性得分分位数，构建可变宽度的性能预测集。
• 采用 Z-free 与 Z-modulated 变体，以适应关于数据分布与算法行为的不同假设。
• 使用分割符合性推断与校准集，生成在交换性假设下有效且校准良好的预测区间。

实验结果

研究问题

• RQ1 符合性预测能否扩展至为学习算法本身提供性能保证，而不仅仅是为新实例的预测？
• RQ2 如何为任意学习算法的泛化性能构建有效、有限样本的置信区间？
• RQ3 在对数据与算法的假设最少的情况下，符合性性能预测的理论性质是什么？
• RQ4 该方法在不同学习任务（如分类与优化）中的实际表现如何？
• RQ5 该方法能否生成校准良好且透明的性能陈述，使非专家也能理解？

主要发现

• 所提出的符合性性能预测框架确保了有限样本有效性，即真实性能以至少名义置信水平落在预测区间内。
• 当损失几乎必然不同时，该方法实现校准，确保在有限样本中预测区间校准良好。
• 实证结果表明，CPP 能够成功比较线性与非线性 SVM 的性能，提供可靠的性能区间。
• 在随机凸优化中，CPP 有效区分了批量梯度下降（GD）与随机梯度下降（SGD），为每种算法提供透明的性能边界。
• 该框架对算法对称性与数据交换性具有鲁棒性，使其在多种学习任务中具有广泛适用性。
• 理论分析证实，该方法在标准假设下保持有效性与校准性，即使底层数据分布未知亦成立。