[论文解读] A Unified Optimization View on Generalized Matching Pursuit and Frank-Wolfe

Francesco Locatello, Rajiv Khanna+2 more|arXiv (Cornell University)|Feb 21, 2017

Game Theory and Voting Systems被引用 22

一句话总结

本文提出了一种广义匹配追踪（GMP）与Frank-Wolfe（FW）算法的统一优化框架，表明两者在光滑和强凸目标函数下分别实现次线性（1/t）和线性收敛速率，且无需依赖非相干性或稀疏性假设。关键贡献在于首次为优化中的GMP提供了显式的收敛速率，该速率通过一种新颖的最小内在方向宽度概念与仿射不变性相联系。

ABSTRACT

Two of the most fundamental prototypes of greedy optimization are the matching pursuit and Frank-Wolfe algorithms. In this paper, we take a unified view on both classes of methods, leading to the first explicit convergence rates of matching pursuit methods in an optimization sense, for general sets of atoms. We derive sublinear ($1/t$) convergence for both classes on general smooth objectives, and linear convergence on strongly convex objectives, as well as a clear correspondence of algorithm variants. Our presented algorithms and rates are affine invariant, and do not need any incoherence or sparsity assumptions.

研究动机与目标

• 为广义匹配追踪（GMP）与Frank-Wolfe（FW）方法提供统一的优化视角，二者共享相同的线性最小化Oracle（LMO），但可行集不同：线性张量与凸包。
• 推导出优化中GMP的首个显式收敛速率，独立于迭代相关量，适用于希尔伯特空间中的一般原子集合。
• 建立GMP与FW变体（包括权重校正和近似LMO扩展）之间的对应关系。
• 引入两种算法及其收敛速率的仿射不变形式，确保在域重参数化下保持不变。
• 定义并分析一种新的几何复杂度度量——最小内在方向宽度，该度量控制线性收敛速率，并优于基于相干性的界。

提出的方法

• 将GMP与FW形式化为通过线性最小化Oracle（LMO）选择原子的迭代算法，即与负梯度内积最大的原子。
• 利用有界迭代序列和最小内在方向宽度作为复杂度常数，推导出光滑凸目标函数下的次线性收敛（1/t）和强凸目标函数下的线性收敛。
• 提出GMP与FW的仿射不变重表述，确保在域的仿射变换下算法与收敛速率保持不变。
• 分析在缩放原子集α𝒜上的FW与在𝒜线性张量上的GMP之间的关系，表明当α→∞时，FW迭代以O(1/α)速率收敛至GMP迭代。
• 将框架扩展至允许使用近似LMO，其收敛速率反映近似质量。
• 在更新步骤中使用二次上界（如FW中所用），将GMP推广至光滑目标函数，避免依赖稀疏性或非相干性。

实验结果

研究问题

• RQ1 广义匹配追踪（GMP）是否能在不依赖稀疏性或非相干性假设的前提下，为一般原子集合在优化中实现显式、非渐近的收敛速率？
• RQ2 在原子集缩放下，Frank-Wolfe与广义匹配追踪在迭代序列和收敛行为方面的确切关系是什么？
• RQ3 如何使GMP与FW的收敛速率在优化域的仿射变换下保持不变？
• RQ4 何种几何量控制GMP的线性收敛速率？与相干性或金字塔宽度等现有概念相比如何？
• RQ5 能否在GMP与FW变体中使用近似线性Oracle，并获得可量化的收敛保证？

主要发现

• 本文首次建立了广义匹配追踪在光滑凸目标函数下的显式次线性收敛速率O(1/t)，适用于任意有界原子集合。
• 对于强凸目标函数，GMP的收敛速率取决于最小内在方向宽度，这是一种新的几何复杂度度量，相较于传统相干性更具鲁棒性。
• 在缩放原子集α𝒜上，Frank-Wolfe的收敛速率以O(1/α)速率趋近于在𝒜线性张量上的广义匹配追踪，揭示了二者在渐近下的正式对应关系。
• 所提出的算法与收敛速率具有仿射不变性，即在输入空间的仿射变换下保持不变，此性质此前仅知于牛顿法与FW方法。
• 该框架允许使用近似线性Oracle，其收敛速率显式依赖于近似质量，显著增强了实际适用性。
• 最小内在方向宽度提供了比相干性更紧致、更鲁棒的复杂度度量，尤其在新增原子时表现更优，且其收敛界优于现有几何量（如金字塔宽度）。”