[论文解读] From Stochastic Mixability to Fast Rates

Nishant A. Mehta, Robert C. Williamson|ANU Open Research (Australian National University)|Jun 14, 2014

Machine Learning and Algorithms参考文献 24被引用 3

一句话总结

本文证明了随机可混合性——连接统计学习与在线学习的桥梁——在有限类和VC型函数类中，对经验风险最小化（ERM）的收敛速率可实现 $O(1/n)$ 的快速收敛。通过基于Cramér-Chernoff方法和Kemperman对一般矩问题的解法的直接证明，本文表明随机可混合性可导出领先常数为1的精确oracle不等式，为快速收敛的几何结构提供了新见解，并暗示了学习问题中有效凸性的表征方式。

ABSTRACT

Empirical risk minimization (ERM) is a fundamental learning rule for statistical learning problems where the data is generated according to some unknown distribution $\mathsf{P}$ and returns a hypothesis $f$ chosen from a fixed class $\mathcal{F}$ with small loss $\ell$. In the parametric setting, depending upon $(\ell, \mathcal{F},\mathsf{P})$ ERM can have slow $(1/\sqrt{n})$ or fast $(1/n)$ rates of convergence of the excess risk as a function of the sample size $n$. There exist several results that give sufficient conditions for fast rates in terms of joint properties of $\ell$, $\mathcal{F}$, and $\mathsf{P}$, such as the margin condition and the Bernstein condition. In the non-statistical prediction with expert advice setting, there is an analogous slow and fast rate phenomenon, and it is entirely characterized in terms of the mixability of the loss $\ell$ (there being no role there for $\mathcal{F}$ or $\mathsf{P}$). The notion of stochastic mixability builds a bridge between these two models of learning, reducing to classical mixability in a special case. The present paper presents a direct proof of fast rates for ERM in terms of stochastic mixability of $(\ell,\mathcal{F}, \mathsf{P})$, and in so doing provides new insight into the fast-rates phenomenon. The proof exploits an old result of Kemperman on the solution to the general moment problem. We also show a partial converse that suggests a characterization of fast rates for ERM in terms of stochastic mixability is possible.

研究动机与目标

• 建立随机可混合性与统计学习中快速收敛速率之间的直接联系。
• 利用Cramér-Chernoff方法和Kemperman对一般矩问题的解法，为ERM提供快速收敛速率的新证明。
• 证明随机可混合性对有限类和VC型类均蕴含领先常数为1的精确oracle不等式。
• 研究随机可混合性是否表征快速收敛现象，包括提出部分逆命题，即非唯一最小化器可能为失败的标志。
• 探讨随机可混合性与Bernstein条件之间的关系，并评估在有界损失假设下两者是否等价。

提出的方法

• 作者利用Cramér-Chernoff方法控制超额风险的尾部概率，借助随机可混合性条件。
• 他们应用Kemperman对一般矩问题的解法，推导超额损失的矩生成函数的紧界。
• 通过将注意力限制在超额风险至少为 $ ( heta n)^{-1/(2- heta)} $ 的函数上，实现分析的局部化，从而将结果从有限类推广至VC型类。
• 一个关键技术步骤是：在随机可混合性条件下，对矩问题实例的最优值进行有界，以确保快速收敛的控制。
• 证明结构允许对函数类中各函数的大偏差概率进行独立控制，从而通过 $$-网将结果推广至VC型类。
• 该方法通过考虑多项式度量熵，进一步扩展至非参数类，尽管完整推广仍是开放问题。

实验结果

研究问题

• RQ1 在有限函数类中，随机可混合性是否意味着ERM的 $O(1/n)$ 快速收敛速率？
• RQ2 在随机可混合性条件下，快速收敛结果能否推广至VC型类？
• RQ3 是否存在部分逆命题：若随机可混合性不成立，是否意味着最小化器不唯一且导致慢速收敛？
• RQ4 随机可混合性与Bernstein条件有何关系？在有界损失下两者是否等价？
• RQ5 能否去除有界损失假设，将结果推广至更一般的损失分布？

主要发现

• 随机可混合性对有限类蕴含领先常数为1的精确oracle不等式，从而实现 $ O(1/n) $ 的快速收敛速率。
• 对于包含 $ N $ 个函数、损失有界为 $ V $ 的有限类，以高概率，超额风险被限制在 $ \frac{6(\log(1/\delta) + \log N)}{(η_0 n)^{1/(2-\kappa)}} $ 以内。
• 通过将分析局部化于超额风险至少为 $ (η_0 n)^{-1/(2-\kappa)} $ 的函数上，该结果可推广至VC型类。
• 建立了部分逆命题：若随机可混合性不成立，则风险最小化器的非唯一性会导致慢速收敛，表明存在几何障碍。
• 在有界损失下，Bernstein条件蕴含随机可混合性，暗示两者之间存在更深层联系。
• 随机可混合性最坏情况下的随机变量是那些大收益概率低、小损失概率高的类型，可能需要额外的矩条件来排除此类情形。