[論文レビュー] Near-Optimal Methods for Minimizing Star-Convex Functions and Beyond

Oliver Hinder, Aaron Sidford+1 more|arXiv (Cornell University)|Jun 27, 2019

Sparse and Compressive Sensing Techniques参考文献 47被引用数 6

ひとこと要約

本稿では、パラメータ $\gamma \in (0,1]$ を持つ、凸関数およびスタア凸関数を一般化するクラスであるスムーズなクオザ凸関数を最小化する近似的最適な高速化一次法を提案する。この手法は、$\epsilon$-最適解を求めるために $O(\gamma^{-1}\epsilon^{-1/2}\log(\gamma^{-1}\epsilon^{-1}))$ 回の関数評価および勾配評価を達成し、$\Omega(\gamma^{-1}\epsilon^{-1/2})$ の下界と一致する。これは、対数要因を除いて最適性を示している。

ABSTRACT

In this paper, we provide near-optimal accelerated first-order methods for minimizing a broad class of smooth nonconvex functions that are strictly unimodal on all lines through a minimizer. This function class, which we call the class of smooth quasar-convex functions, is parameterized by a constant $γ\in (0,1]$, where $γ= 1$ encompasses the classes of smooth convex and star-convex functions, and smaller values of $γ$ indicate that the function can be "more nonconvex." We develop a variant of accelerated gradient descent that computes an $ε$-approximate minimizer of a smooth $γ$-quasar-convex function with at most $O(γ^{-1} ε^{-1/2} \log(γ^{-1} ε^{-1}))$ total function and gradient evaluations. We also derive a lower bound of $Ω(γ^{-1} ε^{-1/2})$ on the worst-case number of gradient evaluations required by any deterministic first-order method, showing that, up to a logarithmic factor, no deterministic first-order method can improve upon ours.

研究の動機と目的

• 最小化点を通る直線上で構造的単峰性を示す滑らかな非凸関数を、効率的に最小化する一次最適化法の開発。
• 凸性を超える広範な非凸関数クラスに対する、決定的一次法のクエリ複雑度の特定。
• 任意の $\epsilon$-最適解を求めるために必要な関数評価および勾配評価回数の、タイトな上界と下界の確立。
• 加速勾配降下法を $\gamma$-クオザ凸関数クラスへ一般化し、$\gamma=1$ がスタア凸性に対応し、$\gamma$ が小さいほど非凸性が増加することを示す。
• 実用的性能と最悪ケース理論的境界のギャップを埋めるために、加速に適した幾何的性質を持つ関数クラスの同定。

提案手法

• 著者らは、$\gamma$-クオザ凸関数に特化した加速勾配降下法の変種を導入し、パrameter $\gamma$ を考慮した曲率依存のステップサイズルールを組み込む。
• クオザ凸性条件 $f(x^*) \geq f(x) + \frac{1}{\gamma} \nabla f(x)^\top (x^* - x)$ を活用することで、モーメンタムに基づく更新スキームが最小化点への十分な進捗を保証する。
• 最小化点への進行を追跡するためのポテンシャル関数が、クオザ凸性仮定の下で収束を保証する。
• 勾配が消える場合にイテレートのスパarsityを保つ「ゼロ尊重型」アルゴリズム設計により、よりタイトな下界解析が可能になる。
• リャプノフ関数技術と、強いクオザ凸関数からクオザ凸関数への新しい還元を組み合わせることで、下界を導出。
• この手法は、$\epsilon$-最適性を達成するための関数および勾配評価回数として $O(\gamma^{-1}\epsilon^{-1/2}\log(\gamma^{-1}\epsilon^{-1}))$ の複雑さを達成する。

実験結果

リサーチクエスチョン

• RQ1 加速された一次法は、最小化点を通る直線上で単峰性を示す広範な非凸関数クラスに対して、近的最適な収束レートを達成できるか？
• RQ2 滑らかな $\gamma$-クオザ凸関数を最小化する際の、最適なクエリ複雑度（関数評価および勾配評価回数）は何か？
• RQ3 非凸性パラメータ $\gamma$ は一次法の収束レートにどのように影響するか？
• RQ4 この関数クラスに対して、決定的一次法のタイトな下界を確立できるか？
• RQ5 $\gamma$-クオザ凸関数を最小化する、理論的下界と一致する、実際に最適であると証明可能なアルゴリズムは存在するか？

主な発見

• 提案された加速勾配降下法の変種は、滑らかな $\gamma$-クオザ凸関数の $\epsilon$-最適解を求めるために、合計で $O(\gamma^{-1}\epsilon^{-1/2}\log(\gamma^{-1}\epsilon^{-1}))$ 回の関数評価および勾配評価を達成する。
• 任意の決定的一次法に対して、$\Omega(\gamma^{-1}\epsilon^{-1/2})$ の一致する下界が確立され、提案手法が対数要因を除いて近的最適であることが示された。
• $\gamma$-クオザ凸関数のクラスは、滑らかな凸関数およびスタア凸関数を一般化しており、$\gamma=1$ がスタア凸性に対応し、$\gamma$ が小さいほど非凸性が増加する。
• 下界は、強いクオザ凸関数からクオザ凸関数への還元を用い、強い凸最小化に対する既知の下界を活用することで導出された。
• 解析により、複雑さが $\gamma^{-1}$ に依存することが示され、関数がより非凸的（$\gamma$ が小さい）ほど、必要な評価回数が $\gamma$ に反比例して増加することがわかった。
• 結果として、最小化点を通る直線上で単峰性を示す構造的非凸関数は、一般の非凸関数と比較して著しく高速に最適化可能であることが示された。これは、グローバル最小値が一意でない場合でも同様に成り立つ。