[论文解读] Class-Weighted Classification: Trade-offs and Robust Approaches

Ziyu Xu, Dan Chen+2 more|arXiv (Cornell University)|May 26, 2020

Imbalanced Data Classification Techniques参考文献 45被引用 13

一句话总结

本文提出了一种鲁棒的类别加权分类方法，以解决不平衡学习问题，通过在不确定的权重分布上最小化风险，引入了标签条件风险价值（LCVaR）和标签异质条件风险价值（LHCVaR）。该文建立了泛化界，并通过实证结果表明，LCVaR 和 LHCVaR 在真实数据和合成数据上均能改善类别条件风险。

ABSTRACT

We address imbalanced classification, the problem in which a label may have low marginal probability relative to other labels, by weighting losses according to the correct class. First, we examine the convergence rates of the expected excess weighted risk of plug-in classifiers where the weighting for the plug-in classifier and the risk may be different. This leads to irreducible errors that do not converge to the weighted Bayes risk, which motivates our consideration of robust risks. We define a robust risk that minimizes risk over a set of weightings and show excess risk bounds for this problem. Finally, we show that particular choices of the weighting set leads to a special instance of conditional value at risk (CVaR) from stochastic programming, which we call label conditional value at risk (LCVaR). Additionally, we generalize this weighting to derive a new robust risk problem that we call label heterogeneous conditional value at risk (LHCVaR). Finally, we empirically demonstrate the efficacy of LCVaR and LHCVaR on improving class conditional risks.

研究动机与目标

• 解决少数类边际概率较低且常被误分类的不平衡分类挑战。
• 识别在使用单一固定加权处理类别条件风险时的根本权衡，因为最优成本通常未知。
• 提出一种鲁棒的风险公式，通过在可能的类别权重不确定性集合上最小化最坏情况加权风险，实现对类别边际分布的分布鲁棒性建模。
• 为所提出的鲁棒风险最小化框架建立泛化误差界。
• 提出新颖的鲁棒风险度量——LCVaR 和 LHCVaR，将条件风险价值（CVaR）推广至类别特定的风险最小化。

提出的方法

• 定义一种加权风险，将不同类别的类别条件风险以不同权重结合，从而实现对少数类的优先处理。
• 将鲁棒风险定义为在可能权重集合 Q 的不确定性集合上加权风险的上确界，以建模类别边际分布的分布鲁棒性。
• 证明当不确定性集合具有特定形式时，鲁棒风险退化为标签条件风险价值（LCVaR），即 CVaR 在类别风险上的推广。
• 提出标签异质条件风险价值（LHCVaR），允许每种类别使用不同的 α 参数，以实现更灵活的风险敏感度。
• 推导 LHCVaR 的对偶形式，从而实现无约束优化，尤其在异质性为有限维时效果显著。
• 通过梯度下降实现优化，利用 LHCVaR 公式中 λ 的解析解，加速收敛，且无需对 λ 进行梯度计算。

实验结果

研究问题

• RQ1 在不平衡分类中，使用单一固定加权处理类别条件风险时，其根本权衡是什么？
• RQ2 如何设计一种鲁棒风险最小化框架，以考虑类别权重选择中的不确定性？
• RQ3 该鲁棒风险公式能否与随机规划中的已知概念（如条件风险价值，CVaR）建立联系？
• RQ4 所提出的鲁棒风险最小化方法的泛化性能如何？
• RQ5 所提出的 LHCVaR 框架（采用类别特定的 α 参数）相较于标准 LCVaR 和基线方法有何改进？

主要发现

• 本文为鲁棒风险最小化框架建立了过剩风险界，为泛化性能提供了理论保证。
• 当不确定性集合被适当地定义时，LCVaR 被证明是鲁棒风险公式的特例，从而将其与随机规划中的知名概念联系起来。
• LHCVaR 通过允许每种类别使用不同的 α 参数，对 LCVaR 进行了推广，从而在异质类别分布中实现更精细的风险处理。
• LHCVaR 的对偶形式支持无约束优化，且公式中 λ 的解析解使得收敛速度优于对 λ 和模型参数联合进行梯度下降的方法。
• 在真实数据和合成数据上的实证结果表明，LCVaR 和 LHCVaR 显著改善了类别条件风险，尤其对少数类表现更优。
• 所提出的方法在鲁棒性和不平衡数据集上的性能方面，优于标准类别加权和基线方法。