[论文解读] Fast rates with high probability in exp-concave statistical learning

Nishant A. Mehta|arXiv (Cornell University)|May 4, 2016

Machine Learning and Algorithms参考文献 25被引用 11

一句话总结

本文提出了一种新颖的置信度增强算法，用于指数凸（exp-concave）统计学习，以高概率 $1-\delta$ 实现了快速的 $O(d\log(1/\delta)/n)$ 超额风险率，从而解决了长期存在的开放性问题。通过利用由指数凸性导出的 Bernstein 条件，并将 Freedman 不等式应用于在线到批量的转换，该方法在期望值边界的基础上实现了改进，并首次在该设定下实现了经验风险最小化（ERM）的高概率 $O(d/n)$ 速率。

ABSTRACT

We present an algorithm for the statistical learning setting with a bounded exp-concave loss in $d$ dimensions that obtains excess risk $O(d \log(1/δ)/n)$ with probability at least $1 - δ$. The core technique is to boost the confidence of recent in-expectation $O(d/n)$ excess risk bounds for empirical risk minimization (ERM), without sacrificing the rate, by leveraging a Bernstein condition which holds due to exp-concavity. We also show that with probability $1 - δ$ the standard ERM method obtains excess risk $O(d (\log(n) + \log(1/δ))/n)$. We further show that a regret bound for any online learner in this setting translates to a high probability excess risk bound for the corresponding online-to-batch conversion of the online learner. Lastly, we present two high probability bounds for the exp-concave model selection aggregation problem that are quantile-adaptive in a certain sense. The first bound is a purely exponential weights type algorithm, obtains a nearly optimal rate, and has no explicit dependence on the Lipschitz continuity of the loss. The second bound requires Lipschitz continuity but obtains the optimal rate.

研究动机与目标

• 弥合指数凸统计学习中期望值快速速率与高概率快速速率之间的差距。
• 解决一个长期开放的问题：是否可以在指数凸损失下实现高概率的 $O(d\log(1/\delta)/n)$ 超额风险上界。
• 开发一种置信度增强技术，在保持 $O(d/n)$ 速率的同时，实现高概率保证而不损失速率。
• 将在线到批量转换结果推广至指数凸损失，证明遗憾界可推出高概率超额风险上界。
• 提出针对模型选择聚合的新颖分位数自适应、高概率上界，其对损失利普希茨连续性的依赖更优。

提出的方法

• 核心方法采用两阶段经验风险最小化（ERM）策略，以增强对现有期望值 $O(d/n)$ 边界的置信度，从而实现高概率的 $O(d\log(1/\delta)/n)$ 超额风险。
• 建立了指数凸性与中心条件之间的联系，由此推导出超额损失随机变量方差的 Bernstein 条件。
• 分析中利用了适用于鞅的 Freedman 不等式，以利用 Bernstein 条件带来的方差控制，并推导出高概率上界。
• 提出一种新颖的约化方法，将第二阶段重构为在 $K$-维单纯形上的低维随机指数凸优化问题，其中 $K = O(\log(1/\delta))$。
• 该方法将任意在线指数凸学习器的在线到批量转换应用于任何在线指数凸学习器，证明其遗憾界可直接转化为高概率超额风险上界。
• 对于模型选择，提出了一种完全基于指数权重的算法，实现了接近最优的速率，且对损失利普希茨连续性无显式依赖。

实验结果

研究问题

• RQ1 是否可以在指数凸统计学习中实现高概率的 $O(d\log(1/\delta)/n)$ 超额风险上界？
• RQ2 标准 ERM 方法是否能实现高概率的 $O(d(\log n + \log(1/\delta))/n)$ 超额风险？
• RQ3 能否通过在线到批量方法，将指数凸设定下的在线遗憾界转化为高概率超额风险上界？
• RQ4 在有限类上的模型选择聚合能否实现高概率下的快速速率，并最小化对损失利普希茨连续性的依赖？
• RQ5 是否可以设计一种分位数自适应的高概率上界，使得当先验在最优假设邻域内分配高概率质量时，其性能得以改善？

主要发现

• 所提出的置信度增强 ERM 算法在概率至少 $1-\delta$ 下实现了 $O(d\log(1/\delta)/n)$ 的超额风险上界，从而解决了指数凸学习中高概率快速速率的开放问题。
• 标准 ERM 在概率至少 $1-\delta$ 下实现了 $O(d(\log n + \log(1/\delta))/n)$ 的超额风险，该结果此前未被报告，但可从现有文献推导得出。
• 任何具有遗憾界 $R_n$ 的在线指数凸学习器，通过在线到批量转换，可得到高概率的 $O(R_n/n)$ 超额风险上界，前提是损失有界且满足指数凸性。
• 提出了一种新的模型选择聚合算法，在高概率下实现了 $O((\log|\mathcal{F}| + \log n)/n)$ 的速率，且对损失函数的利普希茨连续性无显式依赖。
• 第二种模型选择方法实现了最优速率，但需要依赖利普希茨连续性，揭示了速率最优性与平滑性依赖之间的权衡。
• 本文证明了指数凸性蕴含 Bernstein 条件，该条件支持方差控制，并为通过 Freedman 不等式实现高概率置信度增强提供了理论基础。