[论文解读] Affine Invariant Analysis of Frank-Wolfe on Strongly Convex Sets

Thomas Kerdreux, Lewis Liu+2 more|arXiv (Cornell University)|Nov 6, 2020

Stochastic Gradient Optimization Techniques参考文献 38被引用 4

一句话总结

本文通过提出一种新的结构性假设——方向平滑性（directional smoothness），实现了对强凸集上Frank-Wolfe算法的仿射不变性分析，从而实现了与范数无关的收敛速率。该研究提出了一种仿射不变的回溯线搜索方法，令人惊讶的是，即使在平滑性估计中使用非不变范数，该方法仍能恢复最优的仿射不变步长，解决了该算法的仿射协变性质与以往依赖范数的收敛界之间长期存在的不一致问题。

ABSTRACT

It is known that the Frank-Wolfe (FW) algorithm, which is affine-covariant, enjoys accelerated convergence rates when the constraint set is strongly convex. However, these results rely on norm-dependent assumptions, usually incurring non-affine invariant bounds, in contradiction with FW's affine-covariant property. In this work, we introduce new structural assumptions on the problem (such as the directional smoothness) and derive an affine invariant, norm-independent analysis of Frank-Wolfe. Based on our analysis, we propose an affine invariant backtracking line-search. Interestingly, we show that typical backtracking line-searches using smoothness of the objective function surprisingly converge to an affine invariant step size, despite using affine-dependent norms in the step size's computation. This indicates that we do not necessarily need to know the set's structure in advance to enjoy the affine-invariant accelerated rate.

研究动机与目标

• 解决Frank-Wolfe算法在强凸集上的仿射协变性质与现有依赖范数的收敛界之间的不一致问题。
• 开发一种在仿射变换下保持不变的收敛性分析，使理论保证与算法内在的几何特性相一致。
• 引入一种新的结构性假设——方向平滑性，使得在不预先知晓集合几何结构的情况下，也能实现仿射不变的收敛速率。
• 设计一种回溯线搜索方法，即使在平滑性估计中使用依赖仿射变换的范数，也能产生仿射不变的步长。
• 从理论上和实验上证明，标准的回溯线搜索方法在实际中自然地恢复了仿射不变的步长，即使所用范数并非不变。

提出的方法

• 引入方向平滑性作为新的结构性假设，通过沿下降方向的局部平滑性常数定义，以方向自适应的方式限制函数的曲率。
• 利用方向平滑性，推导出在强凸集上Frank-Wolfe算法的仿射不变收敛速率，在较弱条件下实现O(1/K²)的收敛率。
• 提出一种回溯线搜索方法，使用ℓ₂范数估计局部方向平滑性常数L_loc(x_k)，但可严格证明其收敛于最优的仿射不变步长。
• 证明尽管使用了非不变范数，该回溯过程仍能产生与最优仿射不变速率相匹配的步长，这是由于平滑性估计结构的内在特性。
• 采用一种新颖的分析框架，通过聚焦于方向行为和仿射不变量，避免对任意范数的依赖。
• 结合理论边界与在投影和分类问题上的实验验证，确认所提方法的鲁棒性与不变性。

实验结果

研究问题

• RQ1 能否在不依赖范数相关假设的前提下，为强凸集上的Frank-Wolfe算法建立仿射不变的收敛性分析？
• RQ2 使用非不变范数的回溯线搜索在实践中是否仍能产生仿射不变的步长？
• RQ3 何种结构性假设使得Frank-Wolfe在强凸集上实现与范数无关、仿射不变的收敛速率？
• RQ4 为何依赖范数的标准回溯线搜索在实践中仍能实现仿射不变的收敛？
• RQ5 方向平滑性能否作为传统平滑性与强凸性假设在Frank-Wolfe分析中的通用替代方案？

主要发现

• 所提出的方向平滑性假设提供了对函数曲率的与范数无关、仿射不变的刻画，从而实现了更优的收敛性分析。
• 基于方向平滑性估计的回溯线搜索方法，即使在计算中使用ℓ₂范数，其生成的步长也可严格证明为仿射不变。
• 实验结果表明，该仿射不变的回溯方法收敛速度优于标准回溯线搜索和使用1/L步长的朴素FW方法，尤其在病态条件设置下表现更优。
• 方向平滑性常数L_loc(x)在仿射变换下保持不变，且其估计值在变换矩阵的不同条件数下均保持稳定。
• 理论分析证明，该回溯线搜索能找到一个步长γ⋆，满足min{1, 1/(2L_loc)} ≤ γ⋆，该结果与最优仿射不变收敛速率完全一致。
• 在投影与分类任务上的实验结果表明，该仿射不变方法在仿射变换下保持一致的性能表现，而依赖范数的替代方法则不具备此特性。