[论文解读] EPP: interpretable score of model predictive power

Alicja Gosiewska, Mateusz Bakala+3 more|arXiv (Cornell University)|Aug 24, 2019

Machine Learning and Data Classification参考文献 8被引用 4

一句话总结

本文提出EPP（基于Elo的预测能力），一种新颖且可解释的机器学习模型性能评估评分系统。EPP通过实现性能差异的概率解释、直接的跨数据集比较以及交叉验证中的稳定性评估，革新了模型评估方式，为AUC或RMSE等传统指标提供了一种稳健的替代方案。

ABSTRACT

The most important part of model selection and hyperparameter tuning is the evaluation of model performance. The most popular measures, such as AUC, F1, ACC for binary classification, or RMSE, MAD for regression, or cross-entropy for multilabel classification share two common weaknesses. First is, that they are not on an interval scale. It means that the difference in performance for the two models has no direct interpretation. It makes no sense to compare such differences between datasets. Second is, that for k-fold cross-validation, the model performance is in most cases calculated as an average performance from particular folds, which neglects the information how stable is the performance for different folds. In this talk, we introduce a new EPP rating system for predictive models. We also demonstrate numerous advantages for this system, First, differences in EPP scores have probabilistic interpretation. Based on it we can assess the probability that one model will achieve better performance than another. Second, EPP scores can be directly compared between datasets. Third, they can be used for navigated hyperparameter tuning and model selection. Forth, we can create embeddings for datasets based on EPP scores.

研究动机与目标

• 解决机器学习模型评估中缺乏可解释的定距尺度性能指标的问题。
• 克服AUC、F1和RMSE等常见指标的局限性，这些指标缺乏概率解释，且无法在不同数据集间进行有意义的比较。
• 提供一种方法，评估模型在k折交叉验证各折之间的性能稳定性。
• 通过量化进一步搜索带来性能提升的概率，实现导航式超参数调优。
• 支持基于EPP评分创建数据集嵌入，以用于下游的模型选择与分析。

提出的方法

• 将原本用于游戏选手排名的Elo评分系统改编为机器学习模型的预测性能评分框架。
• 基于多个训练/测试划分中模型性能的成对比较定义EPP评分，将每次比较视为一场‘比赛’，表现更好的模型获胜。
• 使用修改后的Elo更新规则计算EPP评分，其中预期结果基于模型间性能差异计算得出。
• 将EPP系统应用于多个数据集和超参数配置下的模型比较，生成一致且可解释的评分尺度。
• 利用EPP评分通过降维方法（如PCA）生成数据集的嵌入表示，揭示数据集之间的结构关系及模型行为特征。
• 将EPP集成到超参数调优工作流中，通过估计进一步性能提升的概率，实现智能搜索终止与导航。

实验结果

研究问题

• RQ1 能否开发一种性能度量方法，实现对不同模型和数据集间性能差异的概率化解释？
• RQ2 在存在不同数据尺度和标签分布的情况下，EPP评分在多大程度上能实现有意义的跨数据集性能比较？
• RQ3 如何利用EPP评分评估模型在k折交叉验证各折之间的性能稳定性？
• RQ4 EPP评分能否通过估计进一步改进的可能性，支持导航式超参数调优？
• RQ5 基于EPP的嵌入能否揭示数据集中的有意义结构，例如模型行为的相似性或数据集难度？

主要发现

• EPP评分提供了性能差异的概率解释：两个EPP评分之间的差异可用于估算一个模型优于另一个模型的概率。
• EPP评分可直接在不同数据集间比较，解决了AUC或RMSE等传统指标不可通约的问题。
• EPP评分揭示了交叉验证中的性能不稳定性：在各折间表现波动较大的模型，其EPP评分较低，表明其排名可靠性较差。
• EPP支持导航式超参数调优：通过分析不同超参数设置下EPP评分的趋势，可识别出有前景的区域，并估算进一步改进的可能性。
• 基于EPP的PCA双标图揭示了数据集之间的结构关系——例如，数据集334表现出与其它数据集相反的模型排名模式，表明其具有独特特征。
• 随机森林和GBM模型在所有数据集中均持续获得正向EPP评分，表明其通常优于平均水平；而k-NN的性能则在不同数据集中表现出显著差异。