[论文解读] Soft (Gaussian CDE) regression models and loss functions

José Hernández‐Orallo|arXiv (Cornell University)|Nov 5, 2012

Statistical Methods and Inference参考文献 62被引用 9

一句话总结

本文提出一种轻量级框架，用于基于软（高斯条件密度估计，或CDE）模型的代价敏感回归，通过实例依赖的期望损失优化重新表述预测，实现非对称损失、拒绝规则和基于出价的应用中的最优预测，而无需重新训练模型。核心贡献是将任意精确回归模型转换为双参数软模型（均值和方差）的一般方法，并通过条件正态分布最优重构预测，从而在代价敏感回归任务中实现最先进性能，且无需重新训练。

ABSTRACT

Regression, unlike classification, has lacked a comprehensive and effective approach to deal with cost-sensitive problems by the reuse (and not a re-training) of general regression models. In this paper, a wide variety of cost-sensitive problems in regression (such as bids, asymmetric losses and rejection rules) can be solved effectively by a lightweight but powerful approach, consisting of: (1) the conversion of any traditional one-parameter crisp regression model into a two-parameter soft regression model, seen as a normal conditional density estimator, by the use of newly-introduced enrichment methods; and (2) the reframing of an enriched soft regression model to new contexts by an instance-dependent optimisation of the expected loss derived from the conditional normal distribution.

研究动机与目标

• 为代价敏感回归问题（如非对称损失、拒绝规则和基于出价的应用）提供无需重新训练现有模型的解决方案。
• 通过引入输出完整条件密度的软回归模型，弥合分类与回归之间的差距，类似于概率分类器。
• 提供一种通用且可重用的方法，通过条件密度估计将精确回归模型重构为软的、代价敏感的模型。
• 通过利用来自正态条件分布的期望损失，实现对任意损失函数的实例特定最优预测。
• 证明该方法在预期损失和多种代价敏感场景下的鲁棒性方面优于现有方法。

提出的方法

• 通过估计条件方差，将任意单参数精确回归模型转换为双参数软回归模型，将其视为正态条件密度估计器（NCDE）。
• 使用增强方法从现有回归技术中推导方差，包括直接方差估计、可靠性或置信度估计器以及符合性预测。
• 通过基于实例的期望损失优化重构预测，该损失基于估计的条件正态分布推导得出。
• 对于非对称损失函数，通过求解涉及估计正态分布的累积分布函数（CDF）和概率密度函数（PDF）的最小化问题，推导最优预测。
• 对于绝对损失和平方损失函数，通过求解期望损失函数的一阶条件，推导出最优预测的闭式解。
• 对每个实例应用重构函数，利用估计的均值和方差，生成在新运行环境下的最小化期望损失的预测。

实验结果

研究问题

• RQ1 能否开发一种通用的、无需重新训练的方法，利用软回归模型处理代价敏感回归问题？
• RQ2 如何将任意标准回归模型转换为可估计均值和方差的软双参数模型？
• RQ3 当条件分布被估计为正态分布时，非对称损失函数下的最优预测是什么？
• RQ4 所提出的方法是否能在多种代价敏感回归任务中，以更低的预期损失优于现有方法？
• RQ5 该方法在不同方差估计技术与数据集上的性能表现如何？

主要发现

• 所提出的软回归框架在非对称和基于出价的损失函数下，显著优于基线方法，能更有效地最小化预期损失。
• 该方法通过求解基于估计条件正态分布的期望损失最小化问题，实现最优预测，且对绝对损失和平方损失函数推导出闭式解。
• 对于非对称损失函数 ℓAα，最优预测被推导为 t′Φ(t′) + φ(t′) − αt′ = 0，其中 t′ 为标准化预测，解通过标准正态分布的CDF和PDF获得。
• 对于平方损失函数 ℓSα，最优预测通过求解涉及截断正态分布的CDF、PDF和矩的更复杂方程获得，正的二阶导数确认其为最小值。
• 实证评估显示，NCDE方法之间性能无显著差异（Friedman检验 p > 0.05），表明对方差估计方法选择具有鲁棒性。
• 该框架可在无需重新训练的情况下，有效重构新运行环境下的预测，适用于动态或重复出现的代价敏感应用场景。