[論文レビュー] Iteration complexity analysis of random coordinate descent methods for $\ell_0$ regularized convex problems

Andrei Pătraşcu, Ion Necoara|arXiv (Cornell University)|Mar 26, 2014

Sparse and Compressive Sensing Techniques参考文献 24被引用数 4

ひとこと要約

本稿は、滑らかな凸関数と $β_0$ クasiノルムペナルティの組み合わせからなる $β_0$-正則化凸最適化問題に適用される確率的ブロック座標降下法の統一的収束解析を提案する。目的関数の近似版に基づく制限付きクラス内で、局所最適解へのほとんど確実な収束を確立し、強い凸性のもとで確率的線形収束を証明する。

ABSTRACT

In this paper we analyze a family of general random block coordinate descent methods for the minimization of $\ell_0$ regularized optimization problems, i.e. the objective function is composed of a smooth convex function and the $\ell_0$ regularization. Our family of methods covers particular cases such as random block coordinate gradient descent and random proximal coordinate descent methods. We analyze necessary optimality conditions for this nonconvex $\ell_0$ regularized problem and devise a separation of the set of local minima into restricted classes based on approximation versions of the objective function. We provide a unified analysis of the almost sure convergence for this family of block coordinate descent algorithms and prove that, for each approximation version, the limit points are local minima from the corresponding restricted class of local minimizers. Under the strong convexity assumption, we prove linear convergence in probability for our family of methods.

研究の動機と目的

• 組み合わせ的に困難であり、正則化形式とスパarsity制約形式の間に正確な同値性が欠如する非凸的 $β_0$-正則化最適化問題を解くという挑戦に取り組む。
• 勾配版およびプロキシマル版を含む、$β_0$-正則化問題に特化した確率的ブロック座標降下法の統一的収束フレームワークを構築する。
• 目的関数の近似版に基づいて局所最適解を制限付きクラスに分類し、収束行動のより詳細な特徴付けを可能にする。
• 各近似版に対応する制限付きクラス内で、アルゴリズムの反復点が局所最適解へほとんど確実に収束することを確立する。
• 強い凸性の仮定のもとで、線形収束を確率的に証明し、提案手法の反復複雑度の保証を提供する。

提案手法

• 変数の1ブロックを1回ごとに更新し、他の変数を固定することで、$β_0$-正則化目的関数の近似を最小化する確率的ブロック座標降下法の族を提案する。
• 目的関数の近似版の選択に応じて、局所最適解の集合を制限付きクラスに分離する。
• 具体的な手法（例：確率的ブロック座標勾配降下法、確率的プロキシマル座標降下法）を包含する一般化されたアルゴリズムフレームワークを採用する。
• 反復ごとにブロックの更新に確率的インデックス選択ルールを用い、変数ブロックのランダムな探索を保証する。
• 非凸的 $β_0$-正則化問題に特化した最適性条件を用いて収束を分析し、異なる種類の局所最適解の違いを明確に区別する。
• 近似の構造とブロック選択のランダム性を活用して、強い凸性のもとで線形収束を確率的に証明することで収束を確立する。

実験結果

リサーチクエスチョン

• RQ1 $β_0$-正則化非凸最適化問題における必要十分最適性条件は何か？ また、局所最適解はどのように分類できるか？
• RQ2 目的関数の近似版の選択が、確率的ブロック座標降下法の収束行動にどのように影響するか？
• RQ3 確率的ブロック座標降下法を $β_0$-正則化問題に適用する場合に、統一的収束解析を確立できるか？
• RQ4 提案手法が確率的線形収束を達成する条件は何か？
• RQ5 IHTA などの既存手法と比較して、提案手法の収束速度と解のスパarsity は実際の応用でどのように異なるか？

主な発見

• 提案された確率的ブロック座標降下法は、目的関数の近似版に基づく制限付きクラス内で、局所最適解へほとんど確実に収束する。
• 強い凸性を持つ問題では、確率的線形収束を達成し、この条件下で良好な反復複雑度を示す。
• 関数値が優れている状態に到達するまでに、(RCD-IHT-$u^e$) は (IHTA) よりもはるかに少ない全反復回数を要した。特に問題次元が増加するにつれて顕著であった。
• $β_2$-正則化ロジスティック損失モデルにおける実験では、(RCD-IHT-$u^e$) は少ない全反復回数で最良の関数値を達成し、スケーラビリティと効率性を示した。
• 本手法は、低い目的関数値を達成しながらも、解のスパarsity を高い水準で維持した。テストケース全体で非ゼロ成分が15～767個の範囲にわたった。
• (RCD-IHT-$u^e$) の性能は問題サイズの増加に伴い良好にスケーリングされ、2500変数を持つ問題ですでに12回の全反復で収束を達成した。