[论文解读] Fast rates in statistical and online learning

Tim van Erven, Peter Grünwald+3 more|arXiv (Cornell University)|Jul 9, 2015

Machine Learning and Algorithms参考文献 52被引用 4

一句话总结

本文通过引入适用于正确学习的中心条件以及适用于在线算法的随机可混合性，统一了统计学习与在线学习中快速收敛速率的条件。在弱假设下，这些条件彼此等价，并推广了Tsybakov边界和Bernstein条件等关键概念，即使在损失无界的情况下也能实现$O(1/n)$的收敛速率。

ABSTRACT

The speed with which a learning algorithm converges as it is presented with more data is a central problem in machine learning --- a fast rate of convergence means less data is needed for the same level of performance. The pursuit of fast rates in online and statistical learning has led to the discovery of many conditions in learning theory under which fast learning is possible. We show that most of these conditions are special cases of a single, unifying condition, that comes in two forms: the central condition for 'proper' learning algorithms that always output a hypothesis in the given model, and stochastic mixability for online algorithms that may make predictions outside of the model. We show that under surprisingly weak assumptions both conditions are, in a certain sense, equivalent. The central condition has a re-interpretation in terms of convexity of a set of pseudoprobabilities, linking it to density estimation under misspecification. For bounded losses, we show how the central condition enables a direct proof of fast rates and we prove its equivalence to the Bernstein condition, itself a generalization of the Tsybakov margin condition, both of which have played a central role in obtaining fast rates in statistical learning. Yet, while the Bernstein condition is two-sided, the central condition is one-sided, making it more suitable to deal with unbounded losses. In its stochastic mixability form, our condition generalizes both a stochastic exp-concavity condition identified by Juditsky, Rigollet and Tsybakov and Vovk's notion of mixability. Our unifying conditions thus provide a substantial step towards a characterization of fast rates in statistical learning, similar to how classical mixability characterizes constant regret in the sequential prediction with expert advice setting.

研究动机与目标

• 识别一个单一的统一条件，以解释统计学习与在线学习设置中快速收敛速率的成因。
• 通过引入核心条件的两种形式，弥合正确学习（输出模型内的假设）与在线学习（允许模型外的预测）之间的差距。
• 在弱假设下证明中心条件与随机可混合性等价，为快速收敛速率提供统一框架。
• 证明中心条件可推广Bernstein条件与Tsybakov边界条件，尤其适用于无界损失。
• 在模型误设下，通过中心条件直接证明快速收敛速率，并将其与伪概率集的凸性联系起来。

提出的方法

• 为始终在模型$\mathcal{F}$中输出假设的正确学习算法引入中心条件，确保在出乎意料的弱假设下实现$O(1/n)$的快速收敛。
• 提出随机可混合性作为在线学习的对应条件，允许算法在$\mathcal{F}$之外进行预测，同时保持快速收敛速率。
• 在温和的正则性假设下，建立中心条件与随机可混合性之间的等价性。
• 利用指数矩不等式与控制收敛定理，推导出损失超出部分的集中不等式。
• 通过对度量熵有界的假设类使用并集界，控制选择次优假设的概率。
• 利用中心条件与伪概率集凸性之间的关系，将其与模型误设下的密度估计联系起来。

实验结果

研究问题

• RQ1 是否存在一个单一条件，能够统一解释统计学习与在线学习设置中快速收敛速率的成因？
• RQ2 中心条件与随机可混合性之间有何关系？在何种假设下二者等价？
• RQ3 中心条件能否推广Bernstein条件与Tsybakov边界条件，特别是在无界损失情况下？
• RQ4 在中心条件下，伪概率集的凸性起到何种作用？
• RQ5 在广义（不可实现）设置中，如何通过中心条件实现快速$O(1/n)$收敛速率？

主要发现

• 中心条件使得在出乎意料的弱假设下，对正确学习算法可直接证明$O(1/n)$的收敛速率。
• 中心条件为单边条件，相较于双侧条件（如Bernstein条件），更适用于无界损失。
• 对于有界损失，中心条件与Bernstein条件等价，且二者均推广了Tsybakov边界条件。
• 随机可混合性推广了Vovk的可混合性概念以及Juditsky、Rigollet与Tsybakov的随机指数凸性条件。
• 中心条件蕴含伪概率集的凸性，从而将其与模型误设下的密度估计联系起来。
• 对于ERM，以高概率$1 - \delta$，超出损失被限制在$\frac{5\max\{V, 1/\eta^*\}(\log(1/\delta) + \log N)}{n}$以内，从而在中心条件成立时实现快速收敛速率。