[论文解读] A Modular Analysis of Adaptive (Non-)Convex Optimization: Optimism, Composite Objectives, and Variational Bounds

Pooria Joulani, András György+1 more|arXiv (Cornell University)|Sep 8, 2017

Advanced Bandit Algorithms Research参考文献 4被引用 7

一句话总结

本文提出了一种模块化、统一的框架，用于分析自适应（非）凸在线优化算法，通过一种新颖的遗憾分解和广义Bregman散度，无缝结合了自适应性、乐观性以及复合目标等算法技术。核心贡献是一种灵活的分析方法，可简洁推导出改进的变分界，并在最小假设下扩展至非凸设置。

ABSTRACT

Recently, much work has been done on extending the scope of online learning and incremental stochastic optimization algorithms. In this paper we contribute to this effort in two ways: First, based on a new regret decomposition and a generalization of Bregman divergences, we provide a self-contained, modular analysis of the two workhorses of online learning: (general) adaptive versions of Mirror Descent (MD) and the Follow-the-Regularized-Leader (FTRL) algorithms. The analysis is done with extra care so as not to introduce assumptions not needed in the proofs and allows to combine, in a straightforward way, different algorithmic ideas (e.g., adaptivity, optimism, implicit updates) and learning settings (e.g., strongly convex or composite objectives). This way we are able to reprove, extend and refine a large body of the literature, while keeping the proofs concise. The second contribution is a byproduct of this careful analysis: We present algorithms with improved variational bounds for smooth, composite objectives, including a new family of optimistic MD algorithms with only one projection step per round. Furthermore, we provide a simple extension of adaptive regret bounds to practically relevant non-convex problem settings with essentially no extra effort.

研究动机与目标

• 为解决现有在线与随机优化算法分析中缺乏模块化的问题，这些分析通常需要为每种新的算法技术或学习设置组合重新分析。
• 实现自适应、乐观、隐式和复合目标技术在单一分析框架内的无缝集成。
• 在最小假设下，将遗憾界扩展至非凸设置，特别是τ-star强凸和光滑目标。
• 以最小假设统一处理FTRL和镜像下降变体（包括FTRL-Prox和自适应版本）。
• 提供一种系统化的方法，通过结构化正则化项引入外部信息（例如，稀疏诱导惩罚），而无需从头推导边界。

提出的方法

• 提出一种新的遗憾分解（引理2.1），将算法遗憾与问题特定假设分离，实现模块化分析。
• 将Bregman散度推广至支持自适应和复合目标，允许在FTRL和MD框架中灵活正则化。
• 采用两部分遗憾界：一部分捕捉算法内在性能，另一部分将假设（如光滑性、凸性）与算法行为关联。
• 将该框架应用于推导光滑、复合目标的改进变分界，包括一种仅每轮一次投影的新家族乐观MD算法。
• 为正则化项组件赋予双重角色：$q_t$ 用于引入外部信息（如稀疏性），$p_t$ 用于保持近端结构。
• 证明该框架可自然扩展至FTRL-Prox和Ada-MD，仅通过最小修改即可保持相同的遗憾结构。

实验结果

研究问题

• RQ1 能否通过单一分析框架统一分析多种在线优化算法，包括自适应、乐观和复合目标变体？
• RQ2 如何模块化地组合不同算法组件（如自适应性、乐观性、隐式更新）的影响，而无需重新推导边界？
• RQ3 光滑和强凸损失的遗憾界在多大程度上可推广至非凸设置，如τ-star强凸函数？
• RQ4 能否通过统一方法为光滑、复合目标推导出改进的变分界？
• RQ5 FTRL-Prox和自适应变体能否在相同框架下分析，而无需对每种情况单独推导？

主要发现

• 所提出的遗憾分解实现了模块化分析，将算法设计与问题假设解耦，支持在不同设置下的复用。
• 该框架恢复并改进了现有结果，包括在乐观在线学习中获得更优常数，且假设极少。
• 提出一种新家族的乐观MD算法，每轮仅需一次投影，为光滑、复合目标实现了更紧的变分界。
• 通过τ-star强凸类，分析可自然扩展至非凸设置，证明自适应算法可在凸性之外进行分析。
• 该框架可直接将Ada-FTRL和Ada-MD扩展至FTRL-Prox及复合目标（如L1正则化问题），无需重新推导。
• 该方法避免了对复合FTRL-Prox或乐观变体的单独分析，因为$q_t$和$p_t$项的结构天然地包含了这些特性。