[论文解读] A graphical analysis of cost-sensitive regression problems

José Hernández‐Orallo|arXiv (Cornell University)|Nov 10, 2012

Imbalanced Data Classification Techniques参考文献 51被引用 57

一句话总结

本文提出了回归受试者工作特征（RROC）空间，这是一种新颖的代价敏感回归图形框架，通过绘制过度估计与低估之间的关系来实现。通过使用类似于分类中阈值的偏移参数，该框架能够可视化不同运行条件下的模型性能，其关键发现为：RROC曲线下方面积（AOC）等于误差方差（仅相差一个常数因子），从而将RROC分析与回归的基本度量直接关联起来。

ABSTRACT

Several efforts have been done to bring ROC analysis beyond (binary) classification, especially in regression. However, the mapping and possibilities of these proposals do not correspond to what we expect from the analysis of operating conditions, dominance, hybrid methods, etc. In this paper we present a new representation of regression models in the so-called regression ROC (RROC) space. The basic idea is to represent over-estimation on the x axis and under-estimation on the y axis. The curves are just drawn by adjusting a shift, a constant that is added (or subtracted) to the predictions, and plays a similar role as a threshold in classification. From here, we develop the notions of optimal operating condition, convexity, dominance, and explore several evaluation metrics that can be shown graphically, such as the area over the RROC curve (AOC). In particular, we show a novel and significant result, the AOC is equal to the error variance (multiplied by a factor which does not depend on the model). The derivation of RROC curves with non-constant shifts and soft regression models, and the relation with cost plots is also discussed.

研究动机与目标

• 为解决回归中缺乏类似ROC的图形化分析方法，尤其是在非对称损失函数下的情况。
• 通过代价不对称性，正式定义回归中的运行条件，类比于分类任务中的概念。
• 开发一种图形化框架——RROC空间，以支持主导性、凸包和混合模型等概念。
• 建立RROC曲线下方面积（AOC）与误差方差等基本回归度量之间的直接联系，为回归评估提供新的解释视角。
• 通过基于偏移的调整方法，促进回归模型在实际部署中适应不同成本条件。

提出的方法

• 提出RROC空间，将过度估计置于x轴，低估置于y轴，形成误差类型的双重表示。
• 引入偏移参数作为分类中阈值的替代，允许调整预测以匹配不同的运行条件。
• 利用偏移参数通过改变预测值中添加的常数，生成RROC曲线，从而在不同成本比率下可视化性能。
• 在RROC空间中定义等成本线，基于非对称损失函数表示具有相同成本的区域。
• 推导RROC曲线的凸包，以构建在单个模型之上占优的混合回归器。
• 证明RROC曲线下方面积（AOC）在数学上等价于误差方差（仅相差一个与模型无关的因子）。

实验结果

研究问题

• RQ1 能否开发一种回归模型的图形化表示方法，使其在可解释性和实用性上类比于分类任务中的ROC曲线？
• RQ2 如何正式化并可视化回归中的运行条件概念，特别是代价不对称性？
• RQ3 RROC空间中的AOC与误差方差等基本回归度量之间存在何种关系？
• RQ4 主导性、凸包和混合模型等概念，如何通过RROC空间从分类任务推广到回归任务？
• RQ5 基于偏移的调整在RROC空间中能否作为实际方法，用于将回归模型适应到新的部署条件？

主要发现

• RROC曲线下方面积（AOC）在数学上等于回归模型的误差方差，仅相差一个与模型无关的常数因子。
• RROC空间支持与分类ROC相同的核概念：运行条件、主导性、凸包和混合模型。
• RROC中的偏移参数在功能上类比于分类中的阈值，可实现模型对不同成本比率的适应。
• 通过变化偏移参数，可算法化生成RROC曲线，从而在代价不对称性范围内实现连续的性能可视化。
• 该框架可通过凸包构造混合回归器，确保在一系列运行条件下实现最优性能。
• RROC框架为图形化分析与关键回归度量（如方差和MSE分解）之间提供了直接且可解释的联系。