[论文解读] A new regret analysis for Adam-type algorithms

Ahmet Alacaoglu, Yura Malitsky+2 more|arXiv (Cornell University)|Mar 21, 2020

Advanced Bandit Algorithms Research参考文献 16被引用 5

一句话总结

该论文通过引入一种新颖的遗憾分析框架，解决了Adam型优化算法中的理论-实践差距问题，实现了在常数β₁下最优的O(√T)数据相关遗憾界，与以往分析要求β₁→0的结论相反。该方法为AMSGrad、AdamNC和Sadam提供了更紧致的、基于常数β₁的遗憾保证，同时将分析扩展至零阶和非凸设置，获得了更优的边界。

ABSTRACT

In this paper, we focus on a theory-practice gap for Adam and its variants (AMSgrad, AdamNC, etc.). In practice, these algorithms are used with a constant first-order moment parameter $β_{1}$ (typically between $0.9$ and $0.99$). In theory, regret guarantees for online convex optimization require a rapidly decaying $β_{1} o0$ schedule. We show that this is an artifact of the standard analysis and propose a novel framework that allows us to derive optimal, data-dependent regret bounds with a constant $β_{1}$, without further assumptions. We also demonstrate the flexibility of our analysis on a wide range of different algorithms and settings.

研究动机与目标

• 为解决Adam型算法中理论要求β₁→0而实践中使用常数β₁的长期理论-实践差距问题。
• 识别先前遗憾分析中的缺陷，这些缺陷导致必须要求β₁→0才能获得最优边界。
• 开发一种新分析框架，实现常数β₁下的最优O(√T)遗憾界，且无需额外假设。
• 展示该框架在凸、非凸及零阶优化设置下的灵活性。
• 首次为AMSGrad、AdamNC和Sadam提供基于常数β₁的最优遗憾边界。

提出的方法

• 提出一种新颖的遗憾分析框架，避免了先前分析中的技术性缺陷，从而支持常数β₁的使用。
• 引入基于加权范数和投影的坐标逐维分析，以更精确地控制梯度更新。
• 采用改进的更新步长与动量项边界技术，结合Young不等式和范数不等式。
• 通过追踪二阶矩向量v_t的逆平方根的演化，推导出数据相关的遗憾边界。
• 将该框架应用于多种变体：AMSGrad、AdamNC和Sadam，均显示出一致的改进。
• 将分析扩展至零阶（bandit）和非凸设置，获得更优或匹配的边界，且证明过程更简洁。

实验结果

研究问题

• RQ1 为何先前针对Adam型算法的遗憾分析要求β₁→0，尽管实践中普遍使用常数β₁？
• RQ2 在在线凸优化中，能否在常数β₁下实现最优的O(√T)遗憾边界？
• RQ3 先前分析中存在何种结构性缺陷，导致必须要求β₁→0？
• RQ4 该新框架能否推广至非凸和零阶优化设置？
• RQ5 基于常数β₁的改进边界在常数和T的依赖关系上是否与现有结果相当或更优？

主要发现

• 该论文首次为AMSGrad和AdamNC在常数β₁下建立了最优的O(√T)遗憾边界，彻底解决了理论-实践差距问题。
• 对于强凸变体Sadam，该框架在常数β₁下得出了数据相关的对数遗憾边界，同样为最优。
• 该分析在零阶Adam变体方面优于先前工作，允许使用常数β₁而非β₁∼1/t。
• 在非凸设置中，该框架以更简洁的证明恢复了现有结果，并略微改进了常数。
• 推导出的边界为数据相关，依赖于∥v₀⁻¹/²∥₁和T，且明确依赖于β₁和β₂。
• 该框架展现出鲁棒性与灵活性，适用于广泛范围的自适应优化算法。