[論文レビュー] Frank-Wolfe Method is Automatically Adaptive to Error Bound Condition

Yi Xu, Tianbao Yang|arXiv (Cornell University)|Oct 10, 2018

Stochastic Gradient Optimization Techniques参考文献 19被引用数 7

ひとこと要約

本稿では、ラインサーチを用いたFrank-Wolfe (FW) 法が、凸最適化における誤差バインディング条件を自動的に適合することを示しており、$\theta \in [0,1]$ の場合に、反復複雑度 $O(\max(1/\epsilon^{1-\theta}, \log(1/\epsilon)))$ を達成する。目的関数が強い凸性を示し、制約集合が強い凸関数によって定義される場合、法は高速な $O(1/t^2)$ 収束率を達成する。

ABSTRACT

Error bound condition has recently gained revived interest in optimization. It has been leveraged to derive faster convergence for many popular algorithms, including subgradient methods, proximal gradient method and accelerated proximal gradient method. However, it is still unclear whether the Frank-Wolfe (FW) method can enjoy faster convergence under error bound condition. In this short note, we give an affirmative answer to this question. We show that the FW method (with a line search for the step size) for optimization over a strongly convex set is automatically adaptive to the error bound condition of the problem. In particular, the iteration complexity of FW can be characterized by $O(\max(1/ε^{1-θ}, \log(1/ε)))$ where $θ\in[0,1]$ is a constant that characterizes the error bound condition. Our results imply that if the constrained set is characterized by a strongly convex function and the objective function can achieve a smaller value outside the considered domain, then the FW method enjoys a fast rate of $O(1/t^2)$.

研究の動機と目的

• 他の一階法とは異なり、誤差バインディング条件下でFrank-Wolfe法がより速い収束を達成できるかどうかを調査すること。
• FW法にラインサーチを適用した場合、パrameter $\theta$ の事前知識が不要であるにもかかわらず、誤差バインディング条件に本質的に適応できることを確立すること。
• 誤差バインディングパrameter $\theta \in [0,1]$ を用いて、FW法の反復複雑度を特徴付けること。
• 目的関数が強い凸性を示し、制約集合が強い凸関数によって定義される場合、FW法が $O(1/t^2)$ 収束率を達成することを示すこと。

提案手法

• ステップサイズ選択にラインサーチを用いたFrank-Wolfe法の分析に焦点を当て、滑らかさ定数を事前に知る必要がなくなる。
• 誤差バインディング条件 $\|\nabla f(x)\| \geq \kappa \cdot \text{dist}(x, X^*)^{\theta}$（$\theta \in [0,1]$）を活用して、改善された収束レートを導出する。
• 誤差バインディング条件の構造とFW更新則を組み合わせることで、$\theta$ を用いて目的関数の最適でないギャップを評価する。
• 収束解析では、各反復における目的関数値の減少を、最適集合への距離と誤差バインディングパラメータ $\theta$ に関連付ける。
• 滑らかさと強い凸性を満たす目的関数と、強い凸関数によって定義される強い凸制約集合に対して適用可能である。
• パラメータ $\theta$ の事前知識がなくても、法が $\theta$ に自動的に適応することを示した。

実験結果

リサーチクエスチョン

• RQ1 他の一階法と同様に、誤差バインディング条件下でFrank-Wolfe法がより速い収束レートを達成できるか？
• RQ2 FW法は、パラメータ $\theta$ の事前知識やアルゴリズムの変更なしに、誤差バインディングパラメータ $\theta$ に本質的に適応可能か？
• RQ3 誤差バインディング条件がパラメータ $\theta \in [0,1]$ で成り立つ場合、FW法の正確な反復複雑度は何か？
• RQ4 どのような条件下でFW法が $O(1/t^2)$ 収束レートを達成するか？

主な発見

• 誤差バインディング条件とパラメータ $\theta \in [0,1]$ を満たす場合、ラインサーチを用いたFrank-Wolfe法は反復複雑度 $O(\max(1/\epsilon^{1-\theta}, \log(1/\epsilon)))$ を達成する。
• $\theta = 1$ の場合、複雑度は $O(\log(1/\epsilon))$ に簡略化され、対数的収束レートを示す。
• $\theta < 1$ の場合、複雑度は $O(1/\epsilon^{1-\theta})$ となり、FW法の標準的レート $O(1/\epsilon)$ よりも改善される。
• 目的関数が強い凸性を示し、制約集合が強い凸関数によって定義される場合、法は高速な $O(1/t^2)$ 収束レートを達成する。
• 法は $\theta$ に自動的に適応するため、改善されたレートを達成するための $\theta$ の事前知識は不要である。