[论文解读] Exploiting Smoothness in Statistical Learning, Sequential Prediction, and Stochastic Optimization

Mehrdad Mahdavi|arXiv (Cornell University)|Jul 19, 2014

Machine Learning and Algorithms参考文献 150被引用 3

一句话总结

本论文提出了一套统一的框架，用于在统计学习、在线学习和随机优化中利用平滑性。通过采用新颖的算法（包括混合优化和无投影方法）来利用平滑性，该框架在样本复杂度、与条件数无关的收敛性以及与渐变变化相关的遗憾界方面实现了指数级改进，同时在各种设置下保持了统计一致性和计算效率。

ABSTRACT

In the last several years, the intimate connection between convex optimization and learning problems, in both statistical and sequential frameworks, has shifted the focus of algorithmic machine learning to examine this interplay. In particular, on one hand, this intertwinement brings forward new challenges in reassessment of the performance of learning algorithms including generalization and regret bounds under the assumptions imposed by convexity such as analytical properties of loss functions (e.g., Lipschitzness, strong convexity, and smoothness). On the other hand, emergence of datasets of an unprecedented size, demands the development of novel and more efficient optimization algorithms to tackle large-scale learning problems. The overarching goal of this thesis is to reassess the smoothness of loss functions in statistical learning, sequential prediction/online learning, and stochastic optimization and explicate its consequences. In particular we examine how smoothness of loss function could be beneficial or detrimental in these settings in terms of sample complexity, statistical consistency, regret analysis, and convergence rate, and investigate how smoothness can be leveraged to devise more efficient learning algorithms.

研究动机与目标

• 重新评估平滑性在统计学习、在线学习和随机优化中的作用。
• 开发能够利用平滑性以提升收敛速率和样本复杂度的算法。
• 分析平滑性与代理损失函数中统计一致性之间权衡的条件。
• 设计高效的优化方法，以减少对完整梯度的依赖，同时保持快速收敛。
• 为大规模学习问题设计无投影且具备约束感知能力的算法。

提出的方法

• 引入混合优化方法，通过在较少频率下使用完整梯度来减少随机梯度的方差，从而在随机梯度方法与完整梯度方法之间实现插值。
• 提出一种新的性能度量——渐变变化，其定义为在线学习中连续损失函数之间距离的总和。
• 设计无投影算法，仅在最终迭代时执行一次投影，从而在随机优化中显著降低计算成本。
• 开发带有软约束的在线凸优化，允许实现次线性遗憾和次线性约束违反边界。
• 基于一个精心设计的随机优化算法，采用构造性证明，建立了样本复杂度的指数级改进。
• 提供对优化误差、泛化误差和二值过剩风险的统一分析，以识别平滑性有益的条件。

实验结果

研究问题

• RQ1 当目标风险已知时，损失函数的平滑性如何影响统计学习中的样本复杂度？
• RQ2 代理损失函数的平滑性在何种条件下会改善或损害统计一致性与二值过剩风险？
• RQ3 是否可以利用平滑性在无需完整梯度访问的情况下实现随机优化中的更快收敛？
• RQ4 如何利用损失函数中的渐变变化来改进在线学习中的遗憾界？
• RQ5 能否设计出无投影且具备约束感知能力的算法，在最小化计算开销的同时保持次线性遗憾？

主要发现

• 在平滑性和强凸性条件下，当目标风险已知时，通过一个构造性随机优化算法，样本复杂度可实现指数级提升。
• 代理损失函数的平滑性可能恶化二值过剩风险，凸显了计算效率与统计一致性之间的权衡。
• 所提出的混合优化方法在确定性优化中实现了与条件数无关的收敛速率，在随机设置中实现了更快的收敛。
• 通过利用渐变变化，在线凸优化中的遗憾界得到改善，从而在非对抗性、平滑演化环境中实现性能提升。
• 无投影算法仅在最终迭代时执行一次投影，显著降低了随机优化中的计算成本。
• 软约束在线学习实现了次线性遗憾和次线性约束违反，使得在长期可行性约束下实现高效学习成为可能。