[论文解读] Binary Classification with Karmic, Threshold-Quasi-Concave Metrics

Bowei Yan, Oluwasanmi Koyejo+2 more|arXiv (Cornell University)|Jun 2, 2018

Machine Learning and Algorithms被引用 9

一句话总结

本文提出了一种通用框架，用于在复杂且不可分解的性能度量下进行二分类，通过识别两个关键属性——Karmic 性质和阈值拟凹性——确保贝叶斯最优分类器是条件概率的阈值函数。作者提出了一种基于新型阈值估计器的插件估计器，并在温和正则性条件下建立了超额效用的快速收敛速率，包括高斯模型下的 $O(\log n / n)$ 和 Hölder 光滑条件概率下的 $O(n^{-(\min\{\alpha,1\}+1)\beta/(2\beta+d)})$。

ABSTRACT

Complex performance measures, beyond the popular measure of accuracy, are increasingly being used in the context of binary classification. These complex performance measures are typically not even decomposable, that is, the loss evaluated on a batch of samples cannot typically be expressed as a sum or average of losses evaluated at individual samples, which in turn requires new theoretical and methodological developments beyond standard treatments of supervised learning. In this paper, we advance this understanding of binary classification for complex performance measures by identifying two key properties: a so-called Karmic property, and a more technical threshold-quasi-concavity property, which we show is milder than existing structural assumptions imposed on performance measures. Under these properties, we show that the Bayes optimal classifier is a threshold function of the conditional probability of positive class. We then leverage this result to come up with a computationally practical plug-in classifier, via a novel threshold estimator, and further, provide a novel statistical analysis of classification error with respect to complex performance measures.

研究动机与目标

• 解决在复杂且不可分解的性能度量（如 F1 分数和精确率）下进行二分类的挑战，这些度量无法通过标准的经验风险最小化进行优化。
• 识别最小的结构假设——具体而言是 Karmic 性质和阈值拟凹性——以确保贝叶斯最优分类器是条件概率的阈值函数。
• 通过结合条件概率估计与一种新型阈值估计器，开发一种计算上实用的插件估计器。
• 对一般不可分解性能度量的分类误差提供统计分析，包括在低噪声和光滑性假设下的快速收敛速率。
• 将基于边距的低噪声假设从准确率推广到复杂性能度量，并为特定模型推导出显式的收敛速率。

提出的方法

• 引入 Karmic 性质，以形式化性能度量对真正例、真负例以及减少的假正例/假负例的敏感性。
• 将阈值拟凹性定义为比先前假设更弱的结构条件，确保在最优阈值附近性能表现良好。
• 证明在上述两个性质下，贝叶斯最优分类器是条件概率 $P(Y=1|X)$ 的阈值函数。
• 提出一种插件分类器，通过最大似然法或非参数估计器（如逻辑回归、核密度估计器）估计条件概率和最优阈值。
• 建立一个通用的超额效用上界，其依赖于三个组成部分：条件概率估计的收敛速率、阈值估计的收敛速率以及通过边距假设衡量的噪声水平。
• 在特定模型下推导出显式的收敛速率：高斯生成模型下为 $O(\log n / n)$，$\beta$-Hölder 光滑条件概率下为 $O(n^{-(\min\{\alpha,1\}+1)\beta/(2\beta+d)})$。

实验结果

研究问题

• RQ1 在何种一般条件下，性能度量的贝叶斯最优分类器是条件概率 $P(Y=1|X)$ 的阈值函数？
• RQ2 能否构建一种既计算可行又在不可分解度量下统计一致的插件分类器？
• RQ3 在温和正则性条件下，此类插件估计器的超额效用收敛速率如何？
• RQ4 这些速率如何依赖于条件概率的光滑性以及决策边界附近的噪声水平？
• RQ5 即使阈值未知且必须从数据中估计，是否仍能实现快速收敛速率？

主要发现

• 任何满足 Karmic 性质和阈值拟凹性属性的性能度量的贝叶斯最优分类器，都是条件概率 $P(Y=1|X)$ 的阈值函数。
• 所提出的插件分类器，结合条件概率估计与新型阈值估计器，实现了统计一致性与快速收敛速率。
• 对于高斯生成模型，超额效用以 $O(\log n / n)$ 的速率收敛，该速率与 0-1 损失下的已知快速收敛速率一致，但扩展到了更广泛的效用函数类别。
• 对于 $\beta$-Hölder 光滑的条件概率，超额效用以 $O(n^{-(\min\{\alpha,1\}+1)\beta/(2\beta+d)})$ 的速率收敛，当 $\beta > \max\{d/(2\alpha), d/2\}$ 时，该速率快于 $O(1/\sqrt{n})$。
• 该分析将基于边距的低噪声假设推广至不可分解度量，表明在温和的光滑性与噪声条件下，仍可实现快速收敛速率。
• 该框架通过比现有方法要求更弱的假设（特别是避免强单调性或结构约束），推广了先前关于不可分解度量的研究结果。