[论文解读] Stability Conditions for Online Learnability

Stéphane Ross, J. Andrew Bagnell|arXiv (Cornell University)|Aug 16, 2011

Machine Learning and Algorithms参考文献 16被引用 14

一句话总结

本文证明了在线稳定性——一种均匀留一法稳定性（uniform leave-one-out stability）的变体——在一般学习设定下足以实现无遗憾的在线学习。它证明了当其底层批量学习算法具有均匀在线稳定性时，FTRL、镜面下降（Mirror Descent）以及诸如 Hedge 等随机方法可实现无遗憾学习，并表明在二分类问题中，该条件既是充分条件也是必要条件。

ABSTRACT

Stability is a general notion that quantifies the sensitivity of a learning algorithm's output to small change in the training dataset (e.g. deletion or replacement of a single training sample). Such conditions have recently been shown to be more powerful to characterize learnability in the general learning setting under i.i.d. samples where uniform convergence is not necessary for learnability, but where stability is both sufficient and necessary for learnability. We here show that similar stability conditions are also sufficient for online learnability, i.e. whether there exists a learning algorithm such that under any sequence of examples (potentially chosen adversarially) produces a sequence of hypotheses that has no regret in the limit with respect to the best hypothesis in hindsight. We introduce online stability, a stability condition related to uniform-leave-one-out stability in the batch setting, that is sufficient for online learnability. In particular we show that popular classes of online learners, namely algorithms that fall in the category of Follow-the-(Regularized)-Leader, Mirror Descent, gradient-based methods and randomized algorithms like Weighted Majority and Hedge, are guaranteed to have no regret if they have such online stability property. We provide examples that suggest the existence of an algorithm with such stability condition might in fact be necessary for online learnability. For the more restricted binary classification setting, we establish that such stability condition is in fact both sufficient and necessary. We also show that for a large class of online learnable problems in the general learning setting, namely those with a notion of sub-exponential covering, no-regret online algorithms that have such stability condition exists.

研究动机与目标

• 在对抗性数据序列下，刻画一般学习设定中在线可学习性的充分条件。
• 将基于稳定性的可学习性理论从独立同分布（i.i.d.）批量学习设定扩展至在线、对抗性设定。
• 确定在线稳定性是否不仅在受限设定下是充分条件，而且是必要条件。
• 将在线可学习性与假设空间的覆盖性质（特别是次指数覆盖）联系起来。
• 在二分类问题中，建立在线可学习性与存在一致在线稳定或一致留一法稳定 RERM 算法之间的等价性。

提出的方法

• 引入在线稳定性，这是一种类似于均匀留一法稳定性的条件，但专为在线学习而设计。
• 将 FTRL、镜面下降及基于梯度的方法分析为正则化经验风险最小化（RERM）的实例。
• 将 Hedge 算法应用于假设空间的有限 $\varepsilon$-覆盖，以推导遗憾界。
• 利用次指数覆盖的概念，刻画一般问题的在线可学习性。
• 推导出形式为 $\epsilon_{\text{regret}}(t) \leq B\sqrt{2\log(N(\mathcal{H},\mathcal{Z},f,\epsilon_m))}\left[\frac{3}{\sqrt{t}} + \frac{\log t}{2t} + \frac{1+2\ln 2}{2t}\right] + \epsilon_m$ 的遗憾界，适用于 $t \leq m$。
• 证明在利普希茨连续和有界直径假设下，$\varepsilon$-覆盖上的随机 RERM 算法可实现 $O(\sqrt{\log m / t})$ 的遗憾率。

实验结果

研究问题

• RQ1 在线稳定性是否足以在一般学习设定下实现无遗憾在线学习？
• RQ2 能否在二分类问题中证明在线稳定性是在线可学习性的必要条件？
• RQ3 所有具有次指数覆盖性质的在线可学习问题是否都能通过一致在线稳定的 RERM 实现无遗憾学习？
• RQ4 在一般设定下，是否存在一致在线稳定或一致留一法稳定 RERM 算法是否等价于在线可学习性？
• RQ5 在一般学习框架中，次指数覆盖的概念是否与在线可学习性等价？

主要发现

• 在线稳定性足以保证在一般在线学习设定下，对 RERM 类算法实现无遗憾学习。
• 在二分类问题中，在线可学习性等价于存在（可能为随机的）一致在线稳定的 RERM 算法。
• 对于具有次指数覆盖性质的问题，可通过随机一致留一法稳定 RERM 算法实现无遗憾在线学习。
• 此类算法的遗憾界为 $\epsilon_{\text{regret}}(t) \leq B\sqrt{2\log(N(\mathcal{H},\mathcal{Z},f,\epsilon_m))}\left[\frac{3}{\sqrt{t}} + \frac{\log t}{2t} + \frac{1+2\ln 2}{2t}\right] + \epsilon_m$，适用于 $t \leq m$。
• 对于利普希茨连续且有界直径的问题，遗憾率是 $O\left(\sqrt{\frac{\log(K) + d\log(mD)}{t}}\right)$，当 $t \to \infty$ 时可实现无遗憾。
• 即使对于不连续损失函数（如有理/无理指示损失），通过在有限 $\varepsilon$-覆盖上应用 Hedge 算法，仍可实现 $O(1/\sqrt{m})$ 的遗憾。