[论文解读] A Generalized Online Mirror Descent with Applications to Classification and Regression

Francesco Orabona, Koby Crammer+1 more|arXiv (Cornell University)|Apr 10, 2013

Advanced Bandit Algorithms Research参考文献 42被引用 9

一句话总结

本文提出了一种广义的在线镜像下降框架，通过引入时变正则化项和非梯度更新方式，将传统在线镜像下降方法进行扩展。该框架统一了第一阶和第二阶在线学习算法，实现了更优的遗憾边界，并通过一种新颖的正则化选择实现了对特征缩放的不变性，恢复并改进了已知算法如 AROW 和二阶感知机。

ABSTRACT

Online learning algorithms are fast, memory-efficient, easy to implement, and applicable to many prediction problems, including classification, regression, and ranking. Several online algorithms were proposed in the past few decades, some based on additive updates, like the Perceptron, and some on multiplicative updates, like Winnow. A unifying perspective on the design and the analysis of online algorithms is provided by online mirror descent, a general prediction strategy from which most first-order algorithms can be obtained as special cases. We generalize online mirror descent to time-varying regularizers with generic updates. Unlike standard mirror descent, our more general formulation also captures second order algorithms, algorithms for composite losses and algorithms for adaptive filtering. Moreover, we recover, and sometimes improve, known regret bounds as special cases of our analysis using specific regularizers. Finally, we show the power of our approach by deriving a new second order algorithm with a regret bound invariant with respect to arbitrary rescalings of individual features.

研究动机与目标

• 在单一理论框架下统一第一阶与第二阶在线学习算法。
• 将在线镜像下降扩展至允许时变正则化项和非梯度更新方式。
• 推导出在单个特征任意缩放下保持不变的遗憾边界。
• 恢复并改进已知算法，如 AROW、Vovk-Azoury-Warmuth 和二阶感知机。
• 提供一种通用的分析技术，适用于复合损失和自适应滤波，而无需采用临时的证明方法。

提出的方法

• 提出一种使用时变正则化项且更新方式不基于次梯度的广义在线镜像下降算法。
• 利用 Bregman 散度和凸对偶性分析遗憾，依托在线凸优化的框架。
• 提出一种新颖的正则化选择，确保遗憾边界在输入特征的任意缩放下保持不变。
• 将该框架应用于推导一种具有更优理论保证的新二阶算法。
• 通过特征相关矩阵的对角近似实现第二阶方法中的高效计算。
• 采用基于对偶的分析方法推导遗憾边界，包括涉及损失次梯度对偶范数的边界。

实验结果

研究问题

• RQ1 能否将在线镜像下降推广以包含时变正则化项和非梯度更新方式？
• RQ2 这种推广能否统一第一阶与第二阶在线学习算法？
• RQ3 该框架能否产生在特征缩放下保持不变的遗憾边界？
• RQ4 该方法能否恢复并改进现有算法，如 AROW 和二阶感知机？
• RQ5 该方法能否在复合损失设置下应用，而无需临时的证明技术？

主要发现

• 广义在线镜像下降框架将 AROW 和二阶感知机算法作为特例恢复。
• 通过特定的正则化选择，该框架实现了在单个特征任意缩放下保持不变的遗憾边界。
• 该分析为若干已知算法（包括 AROW 和二阶感知机）得出了更优的遗憾边界。
• 该方法实现了第二阶算法的高效变体，仅使用特征相关矩阵的对角元素，这是先前技术无法实现的结果。
• 该框架适用于复合损失设置，无需采用临时的证明技术，优于先前方法。
• 推导出一种新的二阶算法，其遗憾边界在相同假设下与现有边界持平或更优。