[論文レビュー] A systematic approach to general higher-order majorization-minimization algorithms for (non)convex optimization

Ion Necoara, Daniela Lupu|arXiv (Cornell University)|Oct 26, 2020

Sparse and Compressive Sensing Techniques被引用数 4

ひとこと要約

本稿では、目的関数を制御された誤差を持つ高階のサロゲート関数で上から近似する反復的最小化によって、非凸的かつ非滑らかな最適化問題を解くための一般化された高階の主要化・最小化（GHOM）フレームワークを提案する。主な貢献は、凸問題に対してはグローバルなサブ線形収束率を保証し、一様凸性またはKurdyka-Łojasiewicz性質の下では局所的スーパー線形収束率を達成することであり、既知の1階および高階の手法の収束境界が本フレームワークの特殊ケースとして回復されることを示している。

ABSTRACT

Majorization-minimization algorithms consist of successively minimizing a sequence of upper bounds of the objective function so that along the iterations the objective function decreases. Such a simple principle allows to solve a large class of optimization problems, even nonconvex and nonsmooth. We propose a general higher-order majorization-minimization algorithmic framework for minimizing an objective function that admits an approximation (surrogate) such that the corresponding error function has a higher-order Lipschitz continuous derivative. We present convergence guarantees for our new method for general optimization problems with (non)convex and/or (non)smooth objective function. For convex (possibly nonsmooth) problems we provide global sublinear convergence rates, while for problems with uniformly convex objective function we obtain locally faster superlinear convergence rates. We also prove global stationary point guarantees for general nonconvex (possibly nonsmooth) problems and under Kurdyka-Lojasiewicz property of the objective function we derive local convergence rates ranging from sublinear to superlinear for our majorization-minimization algorithm. Moreover, for unconstrained nonconvex problems we derive convergence rates in terms of first- and second-order optimality conditions.

研究の動機と目的

• 一般の（非）凸および（非）滑らか最適化問題に適用可能な高階主要化・最小化手法の統合的アルゴリズムフレームワークの開発。
• 非滑らかまたは一様凸な目的関数を有する凸問題に対するグローバル収束速度の確立。
• 非凸問題に対して、静止点へのグローバル漸近的収束と、Kurdyka-Łojasiewicz（KL）性質の下での局所的収束速度の保証。
• 非制約非凸問題における1階および2階最適性条件の観点からの収束速度の導出。
• 既存のテンソル法および1階法の既知の複雑度境界が、本フレームワークの特殊ケースとして回復されることの確認。

提案手法

• 目的関数を上から近似する高階サロゲート関数を構築し、その誤差関数がp階のリプシッツ連続微分を持つようにする。
• 各反復で、目的関数の局所的テイラー型モデルをp階微分を用いて最小化し、p階微分のリプシッツ定数に基づくペナルティ項を追加する。
• サロゲート関数は3つの主要な性質を満たす：目的関数の主要化、誤差のp階滑らかさ、および現在の反復点における目的関数およびその最初のp階微分との完全一致。
• 非凸最適化の道具を用いて収束を分析する。具体的には、Kurdyka-Łojasiewicz不等式および一様凸性仮定を用いる。
• 第一階法（例：プロキシマル勾配）および高階テンソル法を統一的に扱うことで、それらの収束解析を同一の抽象化の下に統合する。
• 適切なサロゲート関数の構築により、合成凸問題、非制約非凸問題、および単純な制約を有する問題など、さまざまな問題クラスにアルゴリズムを適用する。

実験結果

リサーチクエスチョン

• RQ1 （非）凸的かつ（非）滑らかな問題に適用可能な、第一階および高階手法を一般化する統一的高階主要化・最小化フレームワークを構築可能か？
• RQ2 非滑らかまたは一様凸な目的関数を有する凸問題において、GHOMアルゴリズムが保証できる収束速度は何か？
• RQ3 非凸問題において、GHOMアルゴリズムが静止点へのグローバル収束を達成するための条件は何か？
• RQ4 Kurdyka-Łojasiewicz性質の下で、局所的収束速度はどのように振る舞い、KLパラメータに依存するか？
• RQ5 GHOMフレームワークは、プロキシマル勾配法やテンソル法で解かれた特定の問題クラスの既知の収束境界を回復できるか？

主な発見

• 凸（非滑らかを含む）問題では、GHOMアルゴリズムが目的関数値において$\mathcal{O}(k^{-p})$のグローバルサブ線形収束率を達成する。
• 一様凸問題では、GHOMアルゴリズムが目的関数値および最適点からの反復点の距離において局所的スーパー線形収束を達成する。
• 一般の非凸（非滑らかを含む）問題では、アルゴリズムは静止点へのグローバル漸近的収束を保証し、$\min_{i=1:k} S(x_i) = \mathcal{O}(k^{-\frac{p}{p+1}})$が成り立つ。ここで$S(x)$は部分勾配ノルムを表す。
• Kurdyka-Łojasiewicz性質の下では、KLパラメータに応じて収束速度はサブ線形からスーパー線形まで変動し、明示的なレートの特徴付けが可能である。
• 滑らかな非制約非凸問題では、GHOMアルゴリズムが1階および2階最適性条件の両方においてサブ線形収束を達成する。
• 本フレームワークは、$p=1$の場合は既知の収束境界（例：プロキシマル勾配法やガウス＝ニュートン法）を回復し、$p>1$への拡張を可能とし、これまで解析が行われていなかった問題クラスに対しても新たな結果を導出する。