[論文レビュー] Greedy Algorithms for Cone Constrained Optimization with Convergence Guarantees

Francesco Locatello, Michael Tschannen+2 more|arXiv (Cornell University)|May 31, 2017

Sparse and Compressive Sensing Techniques参考文献 20被引用数 4

ひとこと要約

本稿では、一般のアトム集合の錐包に対する錐制約付き最適化のための新しいグリーディアルゴリズムを提案し、非負のマッチングパursuit（MP）法における収束保証を初めて得た。滑らかで凸な目的関数に対しては、O(1/t) のサブ線形収束速度、強い凸な目的関数に対しては O(e^−t) の線形収束速度を示し、アトム集合の幾何構造に依存する明示的な定数を伴う。

ABSTRACT

Greedy optimization methods such as Matching Pursuit (MP) and Frank-Wolfe (FW) algorithms regained popularity in recent years due to their simplicity, effectiveness and theoretical guarantees. MP and FW address optimization over the linear span and the convex hull of a set of atoms, respectively. In this paper, we consider the intermediate case of optimization over the convex cone, parametrized as the conic hull of a generic atom set, leading to the first principled definitions of non-negative MP algorithms for which we give explicit convergence rates and demonstrate excellent empirical performance. In particular, we derive sublinear ($\mathcal{O}(1/t)$) convergence on general smooth and convex objectives, and linear convergence ($\mathcal{O}(e^{-t})$) on strongly convex objectives, in both cases for general sets of atoms. Furthermore, we establish a clear correspondence of our algorithms to known algorithms from the MP and FW literature. Our novel algorithms and analyses target general atom sets and general objective functions, and hence are directly applicable to a large variety of learning settings.

研究の動機と目的

• アトム集合の錐包に関する最適化における既存のグリーディアルゴリズムに収束保証が欠如しているという問題を解決すること。これは、線形包と凸包のパrameterizationの間の重要な中間ケースである。
• 一般の滑らかで凸な目的関数（特に二次的でないもの）に適用可能な、理論的に収束保証付きの非負MPの変種を体系的に構築すること。
• 提案されたアルゴリズムの明示的なサブ線形および線形収束速度を、アトム集合の幾何構造と目的関数の滑らかさ・強い凸性に応じて確立すること。
• 凸包（Frank-Wolfe）と線形包（Matching Pursuit）の理論的ギャップを埋めるために、錐包ケースのためのアルゴリズムを導入し、統一的な収束解析を提供すること。
• 非負行列分解、分離問題、スパースモデリングなどの実世界問題への広範な適用を可能にするために、有限アトム集合や特定の目的関数形に対する仮定を排除すること。

提案手法

• 一般のアトム集合の錐包上で滑らかで凸な関数を最小化する非直交MPアルゴリズムを提案。各反復で線形最小化オракル（LMO）を用いてアトムを選択する。
• Frank-Wolfeおよび一般化MPにインspiredされた、離隔ステップ、ペairwise、完全補正MPの変種を導入。これにより、事前に選択されたアトムの重みを修正可能となり、収束性が向上する。
• 進捗量を特徴付ける新しい曲率に類似した量 $\mu_{f,\rho\mathcal{A}}^{A}$ を定義。これはアトム集合の幾何構造と勾配挙動に依存する。
• 曲率パラメータと滑らかさ定数を介して双対ギャップと1反復あたりの進捗を関連付ける、新しい解析フレームワークを用いて収束速度を導出する。
• 実装可能性を確保しつつ収束保証を維持できるように、乗法的誤差 $\delta$ を許容する近似LMOを導入する。
• ノルム選択に依存しない、アフィン不変な滑らかさおよび強い凸性の概念を定義。これにより、スケーリングに対してロバストなレートバウンドが保証される。

実験結果

リサーチクエスチョン

• RQ1 一般のアトム集合の錐包上でのグリーディアルゴリズムは、アトム集合が無限大または勾配方向と一致しない場合でも、理論的収束保証を有することが可能か？
• RQ2 滑らかで凸な目的関数および強い凸な目的関数に対して、非負MPアルゴリズムが錐包上で達成可能な収束速度は何か？また、アトム集合の幾何構造にどのように依存するか？
• RQ3 提案されたMP変種（非直交、離隔ステップ、ペアワイズ、完全補正）は、錐包設定下で、既存のFrank-WolfeおよびMatching Pursuit法と比較して収束速度および安定性に優れているか？
• RQ4 従来の非負MP研究が二次的目的関数に限定しているのに対し、一般の滑らかで凸な関数に対しても収束解析を拡張可能か？
• RQ5 アトム集合の直径、半径、C幅が、提案されたアルゴリズムの収束速度に果たす役割は何か？

主な発見

• 提案された非直交MPアルゴリズムは、滑らかで凸な目的関数に対して、O(1/t) のサブ線形収束速度を達成し、アトム集合の幾何構造と目的関数の滑らかさに依存する明示的な定数を伴う。
• 強い凸な目的関数に対しては、O(e^−t) の線形収束速度を達成し、収束定数は強い凸性パラメータとアトム集合のC幅に依存する。
• 離隔ステップおよび完全補正MP変種も、同じ仮定下でサブ線形および線形収束速度を達成し、収束バウンドは同一の曲率パラメータ $\mu_{f,\rho\mathcal{A}}^{A}$ を用いて導出される。
• 収束速度は使用するノルムに依存せず、アフィン不変な滑らかさおよび強い凸性の概念に依存するため、スケーリングに対してロバストである。
• 錐包が線形包または凸包と一致する場合、一般化MPおよびFrank-Wolfeの既知の収束レートが解析によって回復され、異なるフレームワーク間の整合性が示された。
• 提案されたアルゴリズムは、収束保証を達成するにあたり追加コストを伴わず、標準MPと同等の計算複雑性を維持する。