[论文解读] Local and Global Uniform Convexity Conditions

Thomas Kerdreux, Alexandre d’Aspremont+1 more|arXiv (Cornell University)|Feb 9, 2021

Sparse and Compressive Sensing Techniques参考文献 82被引用 5

一句话总结

本文为有限维优化中可行集引入了局部与全局一致凸性条件，将巴拿赫空间的几何性质与一阶方法的收敛性分析相连接。研究证明，约束集的局部一致凸性可使无记忆步长的Frank-Wolfe算法实现加速收敛，收敛速率分别为：当 $ p > 3 $ 时为 $\mathcal{O}(1/k^{(p+1)/(p-1)})$，当 $ p=3 $ 时为 $\mathcal{O}(/log k / k^2)$，当 $ p \in [2,3)$ 时为 $\mathcal{O}(1/k^2)$，且无需知晓光滑性常数。

ABSTRACT

We review various characterizations of uniform convexity and smoothness on norm balls in finite-dimensional spaces and connect results stemming from the geometry of Banach spaces with extit{scaling inequalities} used in analysing the convergence of optimization methods. In particular, we establish local versions of these conditions to provide sharper insights on a recent body of complexity results in learning theory, online learning, or offline optimization, which rely on the strong convexity of the feasible set. While they have a significant impact on complexity, these strong convexity or uniform convexity properties of feasible sets are not exploited as thoroughly as their functional counterparts, and this work is an effort to correct this imbalance. We conclude with some practical examples in optimization and machine learning where leveraging these conditions and localized assumptions lead to new complexity results.

研究动机与目标

• 形式化并统一有限维空间中可行集的局部与全局一致凸性条件。
• 弥合集合型强凸性与函数型强凸性在收敛性分析中应用不均的问题，后者被广泛使用而前者则被低估。
• 证明约束集的局部一致凸性可使无投影方法（如Frank-Wolfe）实现加速收敛。
• 在局部曲率假设下，为一阶方法提供新的复杂度界，尤其适用于在线学习与机器学习。
• 将巴拿赫空间的几何性质与优化收敛理论中使用的缩放不等式相连接。

提出的方法

• 通过涉及次梯度与范数的缩放不等式，提出一种基于局部一致凸性的条件，推广了全局一致凸性。
• 应用全局缩放定理，在局部曲率假设下推导Frank-Wolfe方法中迭代点间距离的界。
• 利用规范函数在中心对称凸体上定义类似范数的结构，实现基于范数的分析。
• 推导固定步长 $\alpha_k = 2/(k+2)$ 下的渐近步长Frank-Wolfe（PAFW）算法的收敛速率，且不依赖光滑性常数。
• 建立局部强凸性与局部一致凸性之间的等价性，将已知的加速收敛区间扩展至局部一致凸集。
• 运用柯西-施瓦茨不等式与求和估计，对累积迭代位移进行有界，并将其与目标误差关联。

实验结果

研究问题

• RQ1 如何表征可行集的局部一致凸性，并将其与一阶优化中的收敛速率相联系？
• RQ2 局部曲率假设对无投影方法（如Frank-Wolfe）的收敛性有何影响？
• RQ3 当约束集一致凸但非全局强凸时，能否在无记忆步长下实现加速收敛？
• RQ4 在机器学习与在线学习中，局部一致凸性条件与全局条件相比，其复杂度界有何差异？
• RQ5 缩放不等式与范数对偶在表征可行集曲率方面起什么作用？

主要发现

• 本文证明，约束集的局部一致凸性可使固定步长 $\alpha_k = 2/(k+2)$ 的渐近步长Frank-Wolfe算法实现加速收敛，即使在未知光滑性常数 $L$ 的情况下亦成立。
• 当 $ p > 3 $ 时，收敛速率为 $\mathcal{O}(1/k^{(p+1)/(p-1)})$，快于先前工作中在全局一致凸性下得到的 $\mathcal{O}(1/T^{1/(1-2/p)})$ 速率。
• 当 $ p = 3 $ 时，速率为 $\mathcal{O}(\log k / k^2)$；当 $ p \in [2,3) $ 时，速率为 $\mathcal{O}(1/k^2)$，且后者速率在指数部分与 $ p $ 无关。
• 收敛界依赖于梯度对偶范数的下确界 $ c > 0 $ 与一致凸参数 $ \alpha $，表明更强的曲率导致更快的收敛。
• 分析表明，在局部一致凸性下，不等式 $\|v_1 - v_2\| \leq \frac{1}{(2\alpha c)^{1/(p-1)}} \|d_1 - d_2\|^{1/(p-1)}$ 成立，从而可获得更紧致的迭代位移界。
• 结果表明，即使集合非全局强凸，局部曲率假设仍可实现与全局情况相当的加速收敛速率，从而将加速收敛的适用范围扩展至更广泛的可行集类别。