[論文レビュー] Faster Rates for the Frank-Wolfe Method over Strongly-Convex Sets

Dan Garber, Elad Hazan|arXiv (Cornell University)|Jun 5, 2014

Sparse and Compressive Sensing Techniques参考文献 24被引用数 99

ひとこと要約

本稿では、強い凸性を持つ集合上で最適化する際、Frank-Wolfe法が標準的な $O(1/t)$ 速度よりも著しく高速な $O(1/t^2)$ の収束速度を達成することを確立している。この手法は射影フリーのままであり、$\ell_p$、シュタイン（Schatten）、グループノルムなどのノルム上での線形最適化が閉形式で可能であり、計算効率を保ちながらも強い凸性を満たしていることが示されている。

ABSTRACT

The Frank-Wolfe method (a.k.a. conditional gradient algorithm) for smooth optimization has regained much interest in recent years in the context of large scale optimization and machine learning. A key advantage of the method is that it avoids projections - the computational bottleneck in many applications - replacing it by a linear optimization step. Despite this advantage, the known convergence rates of the FW method fall behind standard first order methods for most settings of interest. It is an active line of research to derive faster linear optimization-based algorithms for various settings of convex optimization. In this paper we consider the special case of optimization over strongly convex sets, for which we prove that the vanila FW method converges at a rate of $\frac{1}{t^2}$. This gives a quadratic improvement in convergence rate compared to the general case, in which convergence is of the order $\frac{1}{t}$, and known to be tight. We show that various balls induced by $\ell_p$ norms, Schatten norms and group norms are strongly convex on one hand and on the other hand, linear optimization over these sets is straightforward and admits a closed-form solution. We further show how several previous fast-rate results for the FW method follow easily from our analysis.

研究の動機と目的

• 射影フリー手法と最適な一階法の間のギャップを埋めるために、Frank-Wolfeアルゴリズムの収束速度を高速化すること。
• 一般的な正則化ノルム（例：$\ell_p$、シュタイン（Schatten）、グループノルム）によって誘導される凸集合が強い凸性を満たすかを特定・特徴付けること。
• これらの集合上での線形最適化が、閉形式解を有することを示すこと。
• 一様な理論的枠組みを用いて、先行の高速収束結果を統一・一般化すること。
• 強い凸性を持つ実行可能集合上でのFrank-Wolfe法が、$O(1/t^2)$ よりも速い収束速度を達成可能かどうかを検討すること。

提案手法

• 理論的分析により、実行可能集合が強い凸性を満たす場合、目的関数が滑らかで凸である限り、通常のFrank-Wolfe法が $O(1/t^2)$ で収束することを証明する。
• ノルムに関する集合の強い凸性の概念を導入・形式化し、曲率に類似したパラメータを用いて定義する。
• $\ell_p$ ボール（$p \in (1,2]$）、シュタイン（Schatten）$p$-ノルムボール、$\ell_{s,p}$ グループノルムボールの明示的な強い凸性パラメータを導出する。
• 各ノルムクラスについて、特異値または行単位のソフトスレッショングを用いることで、対応するボール上での線形最適化が閉形式解を有することを証明する。
• 双対性とノルムの性質に依拠した分析であり、特にホルダーの不等式と共役指数の関係を活用する。
• 既知のFrank-Wolfeの変種（例：アウェイステップ付き）の高速収束結果が、主な収束定理の推論として得られることを示す。

実験結果

リサーチクエスチョン

• RQ1 実行可能集合が強い凸性を満たす場合、追加のアルゴリズム的修正なしに、通常のFrank-Wolfe法が $O(1/t^2)$ の収束速度を達成できるか？
• RQ2 機械学習で一般的に用いられる正則化ノルム（例：$\ell_p$、シュタイン（Schatten）、グループノルム）のうち、強い凸性を持つ実行可能集合を生成し、効率的な線形最適化を保つものは何か？
• RQ3 目的関数の強い凸性を仮定せずとも、$O(1/t^2)$ の収束速度を達成可能か？
• RQ4 既存のFrank-Wolfe変種（例：アウェイステップ付き）の高速収束結果が、集合の強い凸性に基づく統一的分析から導かれるか？
• RQ5 射影勾配法と同等の対数的収束速度（$O(\log(1/\epsilon))$）を、強い凸性を持つ集合上でのFrank-Wolfe法が達成可能か？

主な発見

• 実行可能集合が強い凸性を満たす場合、Frank-Wolfe法は $O(1/t^2)$ の収束速度を達成し、標準的な $O(1/t)$ 速度よりも二乗の改善が得られる。
• $\ell_p$ ボール（$p \in (1,2]$）は、$\|\cdot\|_{S(p)}$ ノルムに関して $\frac{p-1}{r}$-強い凸性を示し、フロベニウスノルムに関しては $\frac{(p-1)\min(m,n)^{1/2 - 1/p}}{r}$-強い凸性を示す。
• シュタイン（Schatten）$p$-ノルムボール $\mathbb{B}_{S(p)}(r)$ は、シュタイン（Schatten）ノルムおよびフロベニウスノルムに関して強い凸性を示し、SVDと特異値のソフトスレッショングを用いることで線形最適化が閉形式で可能である。
• $\ell_{s,p}$ グループノルムボール $\mathbb{B}_{s,p}(r)$ は、$\|\cdot\|_{s,p}$ ノルムに関して $\frac{(s-1)(p-1)}{(s+p-2)r}$-強い凸性を示し、フロベニウスノルムに関しては $n^{1/s - 1/2}m^{1/p - 1/2}\frac{(s-1)(p-1)}{(s+p-2)r}$-強い凸性を示す。
• これらの集合上での線形最適化は閉形式で計算可能である：シュタイン（Schatten）ノルムではSVDと特異値のソフトスレッショング、グループノルムでは行単位のスレッショングを用いる。
• 理論的結果により、先行のFrank-Wolfeの高速収束結果が統一・一般化され、これらが集合の強い凸性の下で主定理の特別な場合に帰着されることを示した。