[论文解读] Improved Optimistic Mirror Descent for Sparsity and Curvature

Parameswaran Kamalaruban|arXiv (Cornell University)|Sep 8, 2016

Advanced Vision and Imaging参考文献 10被引用 3

一句话总结

本文提出了一种自适应且具有前瞻性的镜像下降算法，通过同时利用损失函数中的稀疏性、可预测性和曲率，改进了在线凸优化的遗憾界。通过整合数据相关的正则化项和前瞻性的梯度预测，该方法在先前工作的基础上将遗憾减少了√2倍，并且在无需预先知晓凸性参数的情况下自适应地处理曲率，同时扩展至包含非光滑正则化项的复合损失函数。

ABSTRACT

Online Convex Optimization plays a key role in large scale machine learning. Early approaches to this problem were conservative, in which the main focus was protection against the worst case scenario. But recently several algorithms have been developed for tightening the regret bounds in easy data instances such as sparsity, predictable sequences, and curved losses. In this work we unify some of these existing techniques to obtain new update rules for the cases when these easy instances occur together. First we analyse an adaptive and optimistic update rule which achieves tighter regret bound when the loss sequence is sparse and predictable. Then we explain an update rule that dynamically adapts to the curvature of the loss function and utilizes the predictable nature of the loss sequence as well. Finally we extend these results to composite losses.

研究动机与目标

• 设计一种在线学习算法，能够同时适应数据中的多种简单情形——稀疏性、可预测性和曲率。
• 统一自适应镜像下降与前瞻镜像下降技术，以获得比现有方法更紧的遗憾界。
• 将算法扩展至复合损失函数，其中正则化项为非光滑项且不应被线性化。
• 在不依赖强凸性参数先验知识的前提下，仍能保持曲率下的对数遗憾界。
• 提供在任意时间步均成立的遗憾分析，确保在实际应用中具备鲁棒性和自适应性。

提出的方法

• 提出一种自适应且具有前瞻性的镜像下降更新规则，利用数据相关的正则化项和梯度预测以改进遗憾界。
• 采用随时间变化的正则化项与Bregman散度，以保持强凸性并适应梯度的稀疏性。
• 通过引入对未来梯度˜gt+1的前瞻预测，降低可预测损失序列中的遗憾。
• 基于累积差值∥gt − ˜gt∥∗设计动态学习率策略，实现在O(√T)与O(log T)遗憾区间之间的插值。
• 通过在更新规则中保留非光滑正则化项ψt而不进行线性化，将算法扩展至复合损失。
• 采用改进的FTRL风格分析，结合强凸性和Bregman散度性质，推导出紧致的遗憾界。

实验结果

研究问题

• RQ1 我们能否设计一种在线学习算法，能够同时适应损失序列中的稀疏性和可预测性？
• RQ2 如何通过结合自适应正则化与前瞻梯度预测，改进镜像下降中的遗憾界？
• RQ3 在不预先知晓强凸性参数的情况下，能否实现曲率损失的对数遗憾？
• RQ4 如何将前瞻镜像下降扩展至包含非光滑正则化项的复合目标函数？
• RQ5 当稀疏性、可预测性和曲率同时出现时，可实现的最紧致遗憾界是什么？

主要发现

• 所提出的自适应且具有前瞻性的镜像下降算法在稀疏且可预测的情况下，遗憾界为O(√(∑∥gt − ˜gt∥²∗))，相比先前工作有√2倍的改进。
• 对于强凸损失，该算法在无需强凸性参数先验知识的前提下，实现了O(log(∑∥gt − ˜gt∥²∗))的遗憾界。
• 该算法能根据损失函数的曲率动态插值于O(√T)与O(log T)的遗憾区间之间。
• 复合损失版本的算法遗憾界与非复合情况保持一致，完整保留了所有改进。
• 该方法在任意时间步均维持遗憾保证，支持在在线学习系统中的实际部署。
• 理论分析可扩展至βt-凸损失，但此时学习率无闭式解。