[论文解读] Accelerating Optimization via Adaptive Prediction

Mehryar Mohri, Scott Cheng‐Hsin Yang|arXiv (Cornell University)|Sep 18, 2015

Advanced Bandit Algorithms Research参考文献 20被引用 4

一句话总结

本文提出了一种统一的在线凸优化框架，结合自适应正则化、乐观梯度预测和与问题相关的随机化，以实现更紧致的遗憾界。通过利用数据相关的更新和预测梯度，所提出的CAOS-FTRL算法在非独立同分布或缓慢变化的场景下显著优于现有方法，且在最坏情况和有利设置下均展现出优于最先进方法的理论保证。

ABSTRACT

We present a powerful general framework for designing data-dependent optimization algorithms, building upon and unifying recent techniques in adaptive regularization, optimistic gradient predictions, and problem-dependent randomization. We first present a series of new regret guarantees that hold at any time and under very minimal assumptions, and then show how different relaxations recover existing algorithms, both basic as well as more recent sophisticated ones. Finally, we show how combining adaptivity, optimism, and problem-dependent randomization can guide the design of algorithms that benefit from more favorable guarantees than recent state-of-the-art methods.

研究动机与目标

• 将自适应正则化、乐观梯度预测和与问题相关的随机化统一到一个在线凸优化的单一框架中。
• 通过利用梯度和损失函数的数据相关特性，推导出比现有方法更紧致的遗憾界。
• 将该框架扩展至随机和小批量设置，包括正则化经验风险最小化。
• 证明结合自适应性、乐观性与非均匀采样可带来优于标准算法的理论保证。

提出的方法

• 提出一种通用的自适应与乐观跟进正则化领导者（AO-FTRL）算法，整合预测梯度与自适应正则化。
• 使用时变正则化项的Bregman散度，以适应损失函数的几何结构。
• 提出一种基于累积预测误差的新型自适应正则化项：$ r_{0:t}(x) = \sum_{i=1}^{n} \sum_{s=1}^{t} \frac{\Delta_{s,i} - \Delta_{s-1,i}}{2R_i} (x_i - x_{s,i})^2 $。
• 采用与问题相关的采样分布以降低方差，其中在ERM设置中 $ p_{t,j} \propto L_j $ 用于梯度估计。
• 将该框架应用于小批量和基于轮次的设置，包括一种类似于SVRG的变体并引入梯度预测。
• 利用对偶范数和自洽函数推导遗憾界，表明对梯度变化的依赖性得到改善。

实验结果

研究问题

• RQ1 能否将自适应正则化与乐观梯度预测统一到一个单一框架中，以改进在线凸优化中的遗憾界？
• RQ2 在随机优化中，与问题相关的随机化如何在性能上超越均匀采样？
• RQ3 结合自适应正则化、乐观性与非均匀采样对遗憾保证的理论影响是什么？
• RQ4 该框架是否能在最坏情况和有利场景下均优于现有最先进算法（如AdaGrad或FTRL）？
• RQ5 该算法的小批量和基于轮次的变体如何影响随机ERM问题中的收敛性和遗憾？

主要发现

• 所提出的AO-FTRL算法实现了形式为 $ \mathbb{E}[\text{Regret}] \leq 2\sqrt{T} \left( \sum_{i=1}^{k} (S_i L_i)^{2/3} \right)^{3/2} $ 的遗憾界，其在有利设置下优于标准AdaGrad。
• 对于随机正则化经验风险最小化问题，该算法实现了最坏情况遗憾界 $ 8 \sum_{i=1}^{n} R_i \sqrt{T \left( \sum_{j=1}^{m} L_j \right)^2} $，优于朴素的均匀采样。
• 基于历史梯度的梯度预测 $ \tilde{g}_{t+1} $ 导致遗憾项与 $ \|g_t - \tilde{g}_t\|_{\nabla^2 \mathcal{R}(x_t),*} $ 成正比，当预测准确时可实现性能提升。
• 通过结合自适应性与乐观性，该框架实现了优于现有方法的后验遗憾界，且对正则化和预测误差具有显式控制。
• 小批量和基于轮次的变体在梯度有界且采样非均匀时，展现出更优的方差控制与更紧致的界。
• 理论保证表明，与问题相关的采样分布可显著优于均匀采样，尤其在结构化或稀疏设置中。