[论文解读] Convergence Analysis of the Frank-Wolfe Algorithm and Its Generalization in Banach Spaces

Hong‐Kun Xu|arXiv (Cornell University)|Oct 19, 2017

Sparse and Compressive Sensing Techniques参考文献 14被引用 3

一句话总结

本论文对弗兰克-沃尔夫算法及其在巴拿赫空间中的推广进行了收敛性分析，证明了在弗雷chet导数一致连续的条件下实现收敛，并通过一种新型的σ阶曲率常数（σ ∈ (1,2]）推导出ν-霍尔德连续梯度下的收敛速率 $ O(1/k^{\nu}) $。该分析涵盖线性最小化与开环步长规则，将先前结果扩展至更广泛的函数类和一般空间。

ABSTRACT

The Frank-Wolfe algorithm, a very first optimization method and also known as the conditional gradient method, was introduced by Frank and Wolfe in 1956. Due to its simple linear subproblems, the Frank-Wolfe algorithm has recently been received much attention for solving large-scale structured optimization problems arising from many applied areas such as signal processing and machine learning. In this paper we will discuss in detail the convergence analysis of the Frank-Wolfe algorithm in Banach spaces. Two ways of the selections of the stepsizes are discussed: the line minimization search method and the open loop rule. In both cases, we prove the convergence of the Frank-Wolfe algorithm in the case where the objective function $f$ has uniformly continuous (on bounded sets) Fréchet derivative $f'$. We introduce the notion of the curvature constant of order $σ\in (1,2]$ and obtain the rate $O(\frac{1}{k^{σ-1}})$ of convergence of the Frank-Wolfe algorithm. In particular, this rate reduces to $O(\frac{1}{k^ν})$ if $f'$ is $ν$-Hölder continuous for $ν\in (0,1]$, and to $O(\frac{1}{k})$ if $f'$ is Lipschitz continuous. A generalized Frank-Wolfe algorithm is also introduced to address the problem of minimizing a composite objective function. Convergence of iterates of both Frank-Wolfe and generalized Frank-Wolfe algorithms are investigated.

研究动机与目标

• 将弗兰克-沃尔夫算法的收敛性分析扩展至一般巴拿赫空间，其中投影和对偶映射存在问题。
• 在弱于弗雷chet导数Lipschitz连续性的假设下建立收敛性，具体为有界集上的一致连续性。
• 在弗雷chet导数ν-霍尔德连续的条件下，推导弗兰克-沃尔夫算法及广义弗兰克-沃尔夫算法的收敛速率。
• 引入并利用σ阶曲率常数（$ \sigma \in (1,2] $）以量化收敛速率。
• 研究在各种凸性条件（严格凸、一致凸、紧致性）下迭代序列的收敛行为。

提出的方法

• 引入σ阶曲率常数（$ \sigma \in (1,2] $），将经典曲率常数推广以捕捉高阶光滑性。
• 分析两种步长策略：线性最小化搜索与开环规则，二者均在$ f' $一致连续条件下保证收敛。
• 采用望远镜不等式方法，利用函数下降量 $ \varphi(x_{k+1}) - \varphi^* \leq (1 - \gamma_k)(\varphi(x_k) - \varphi^*) + \frac{\gamma_k^\sigma}{\sigma} C_f^{(\sigma)} $ 推导速率界。
• 应用引理2.4于递归序列，将误差衰减界定为 $ O(1/k^{\sigma-1}) $，当梯度为ν-霍尔德连续时，该结果退化为 $ O(1/k^\nu) $。
• 将弗兰克-沃尔夫算法推广至复合目标函数 $ \varphi(x) = f(x) + g(x) $，其中 $ f, g $ 为凸且下半连续函数。
• 在严格凸性、一致凸性或紧致性条件下，通过弱收敛与强收敛结果建立迭代序列的收敛性。

实验结果

研究问题

• RQ1 在弱于梯度Lipschitz连续性的光滑性假设下，弗兰克-沃尔夫算法是否可在巴拿赫空间中收敛？
• RQ2 当弗雷chet导数为$ \nu $-霍尔德连续（$ \nu \in (0,1] $）时，弗兰克-沃尔夫算法的收敛速率是多少？
• RQ3 σ阶曲率常数（$ \sigma \in (1,2] $）与收敛速率之间有何关系？它能否推广现有结果？
• RQ4 在何种条件下，弗兰克-沃尔夫算法及广义弗兰克-沃尔夫算法的迭代序列强收敛或弱收敛？
• RQ5 在广义复合设定下，开环步长规则是否能保证收敛性与速率保证？

主要发现

• 当弗雷chet导数 $ f' $ 在有界集上一致连续时，弗兰克-沃尔夫算法在巴拿赫空间中收敛，该条件弱于Lipschitz连续性。
• 对于ν-霍尔德连续梯度，收敛速率为 $ O(1/k^\nu) $，该结果包含Lipschitz梯度下的 $ O(1/k) $ 情况。
• σ阶曲率常数（$ \sigma \in (1,2] $）实现了统一的速率分析，对具有该光滑性的$ f' $，可获得 $ O(1/k^{\sigma-1}) $ 的收敛速率。
• 在开环规则下，广义弗兰克-沃尔夫算法对复合目标函数 $ \varphi = f + g $ 实现 $ O(1/k^{\sigma-1}) $ 的收敛速率。
• 若$ f $为严格凸函数，则迭代序列弱收敛于解；若$ f $为一致凸函数或$ C $为紧集且仅有有限个聚点，则强收敛。
• 在ν-霍尔德光滑性条件下，收敛速率 $ O(1/k^\nu) $ 是最优的，与一阶方法在该条件下的已知下界一致。