[论文解读] Convex Risk Minimization and Conditional Probability Estimation

Matus Telgarsky, Miroslav Dudı́k+1 more|arXiv (Cornell University)|Jun 15, 2015

Machine Learning and Algorithms参考文献 17被引用 5

一句话总结

该论文证明了凸风险最小化在未达到最小风险（如提升算法和无限维情形中常见）的情况下，仍会一致收敛到唯一的条件概率模型。通过新颖的无范数泛化界和凸对偶性，证明了总体风险最小化和经验风险最小化序列均收敛到该模型。

ABSTRACT

This paper proves, in very general settings, that convex risk minimization is a procedure to select a unique conditional probability model determined by the classification problem. Unlike most previous work, we give results that are general enough to include cases in which no minimum exists, as occurs typically, for instance, with standard boosting algorithms. Concretely, we first show that any sequence of predictors minimizing convex risk over the source distribution will converge to this unique model when the class of predictors is linear (but potentially of infinite dimension). Secondly, we show the same result holds for \emph{empirical} risk minimization whenever this class of predictors is finite dimensional, where the essential technical contribution is a norm-free generalization bound.

研究动机与目标

• 解决一个根本性问题：在分布上最小化凸风险时，即使不存在有限最小值，其是否仍会收敛到一个明确定义的条件概率模型？
• 为高维或无限维线性预测器类中的经验风险最小化建立泛化保证。
• 为理解提升算法及其他凸代理方法在分类中的极限行为，提供一个统一的理论框架。
• 通过消除对有界性或最小化解存在的假设，克服先前工作的局限性，尤其适用于AdaBoost等算法。
• 证明由风险最小化预测器导出的条件概率估计序列会以几乎必然方式收敛到唯一的极限模型。

提出的方法

• 使用线性预测器类，定义为从 $ h \to [-1, +1] $ 的基函数的加权和，权重属于 $ \bar{w} \to \text{L}^1(\text{H}) $，从而支持无限维模型。
• 应用凸对偶性分析总体风险最小化问题，证明极限条件概率模型 $ \bar{\nu} $ 的存在性与唯一性。
• 提出一种无范数泛化界，无需假设预测器权重有界，从而可在无界或无限维设定中进行分析。
• 定义变换 $ \nu_w(x,y) = \phi(y(Hw)(x)) $，其中 $ \phi(r) = \ell'(r)/(\ell'(r) + \ell'(-r)) $，将风险最小化预测器转换为条件概率估计。
• 使用Borel-Cantelli引理，在经验风险最小化下证明条件概率估计几乎必然收敛到唯一极限模型 $ \bar{\eta} $。
• 将定义域分解为区域 $ \mathcal{D}_\star $ 和 $ \mathcal{D}_\star^c $，并应用集中不等式控制各部分的误差。

实验结果

研究问题

• RQ1 在真实分布上最小化凸风险的预测器序列是否收敛到一个明确定义的对象，即使不存在最小值？
• RQ2 在有限样本上进行经验风险最小化，是否仍能在高维或无限维设定下实现条件概率模型的一致估计？
• RQ3 由风险最小化预测器导出的条件概率估计的极限行为是什么，特别是在权重向量发散时？
• RQ4 如何在不假设预测器权重有界的情况下建立泛化界，而这一假设在提升算法中通常不成立？
• RQ5 极限条件概率模型是否唯一？能否通过凸对偶性和损失函数性质进行刻画？

主要发现

• 对于类 $ \mathbb{L}^{2+}_{\text{b}} $ 中的任意凸损失（包括逻辑损失和指数损失），均存在唯一的条件概率模型 $ \bar{\eta} $，使得任何最小化序列的预测器均收敛到该模型。
• 即使总体风险不存在有限最小化解（例如在标准提升中），条件概率估计序列 $ \eta_{w_n} $ 仍会以几乎必然方式收敛到 $ \bar{\eta} $。
• 论文建立了无范数泛化界，可在不假设权重向量有界的情况下控制过剩风险，从而克服了经典统计学习理论中的一个关键局限。
• 条件概率估计的收敛速度为 $ \mathcal{O}\left( \sqrt{\hat{\mathcal{E}}_n(w)} + \sqrt{\frac{\ln(1/\delta)}{n}} \right) $，其中 $ \hat{\mathcal{E}}_n $ 为经验过剩风险。
• 极限模型 $ \bar{\eta} $ 通过对偶问题刻画，且在 $ \mu $-几乎处处意义下唯一，即使原问题解未被达到。
• 分析在最小假设下成立：损失函数为二阶连续可微，基假设类为任意，适用于回归和提升设定。