[論文レビュー] Random coordinate descent methods for $\ell_0$ regularized convex optimization

Andrei Pătraşcu, Ion Necoara|arXiv (Cornell University)|Mar 26, 2014

Sparse and Compressive Sensing Techniques被引用数 6

ひとこと要約

本稿では、滑らかで凸な関数と$β_0$正則化項を組み合わせた$β_0$正則化凸最適化問題を解くための、ランダムブロック座標降下法の族を提案する。目的関数の近似版によって定義される制限付きクラス内での局所最適解への確実収束を確立し、強い凸性のもとで確率的線形収束を証明する。

ABSTRACT

In this paper we analyze a family of general random block coordinate descent methods for the minimization of $\ell_0$ regularized optimization problems, i.e. the objective function is composed of a smooth convex function and the $\ell_0$ regularization. Our family of methods covers particular cases such as random block coordinate gradient descent and random proximal coordinate descent methods. We analyze necessary optimality conditions for this nonconvex $\ell_0$ regularized problem and devise a separation of the set of local minima into restricted classes based on approximation versions of the objective function. We provide a unified analysis of the almost sure convergence for this family of block coordinate descent algorithms and prove that, for each approximation version, the limit points are local minima from the corresponding restricted class of local minimizers. Under the strong convexity assumption, we prove linear convergence in probability for our family of methods.

研究の動機と目的

• β_0正則化最適化問題に対する統一的なランダムブロック座標降下法の族を分析すること。
• 非凸なβ_0正則化問題のための必要最適性条件を特定すること。
• 目的関数の近似版に基づいて局所最適解を制限付きクラスに分類すること。
• 対応する制限付きクラス内でのアルゴリズムが局所最適解へ確実に収束することを確立すること。
• 強い凸性の仮定のもとで、確率的線形収束を証明すること。

提案手法

• 本手法は、変数のブロックに対してランダムに座標降下を適用し、ランダム勾配降下とプロキシマル座標降下の両方を一般化する。
• β_0正則化項の近似版を用いて、局所最適解の制限付きクラスを定義する。
• 目的関数の勾配またはプロキシマル作用素から導かれる降下方向を用いて、1つのブロックの変数を逐次更新する。
• 収束解析は、ラプラス型関数を構築し、ランダムなブロック選択下での反復点の挙動を分析することに依存する。
• β_0ノルムの異なる近似レベルを区別することで、局所最適解の制限付きクラスを定義する。
• 線形収束を導出するため、強い凸性を仮定する。

実験結果

リサーチクエスチョン

• RQ1 β_0正則化非凸最適化問題のための必要最適性条件は何か？
• RQ2 目的関数の近似に基づいて、局所最適解をどのように制限付きクラスに分類できるか？
• RQ3 提案されたランダムブロック座標降下法は、近似版の目的関数によって定義される制限付きクラス内での局所最適解へ確実に収束するか？
• RQ4 どのような条件下で、この手法は確率的線形収束を達成するか？
• RQ5 目的関数の近似版は、収束挙動および極限点の性質にどのように影響するか？

主な発見

• 提案されたランダムブロック座標降下法は、目的関数の近似版によって定義される制限付きクラス内の局所最適解へ確実に収束する。
• 反復点の極限点は、各近似レベルに対応する制限付きクラス内での局所最適解であることが保証される。
• 強い凸性の仮定のもとで、この手法は確率的線形収束を達成する。
• 解析は、ランダムブロック座標勾配降下とランダムプロキシマル座標降下といった既存手法を、統一的な枠組みで統合する。
• 局所最適解の制限付きクラスへの分類により、非凸なβ_0-正則化問題における収束挙動のより洗練された理解が得られる。
• 収束結果は、グローバル凸性を要件としないため、広範な非凸問題に適用可能である。