[論文レビュー] Sparsity Constrained Nonlinear Optimization: Optimality Conditions and Algorithms

Amir Beck, Yonina C. Eldar|arXiv (Cornell University)|Mar 20, 2012

Sparse and Compressive Sensing Techniques参考文献 20被引用数 14

ひとこと要約

本稿では、目的関数が連続的に微分可能で、非零成分の数を制限する制約を伴う一般のスパース制約付き非線形最適化問題を解くための最適性条件と3つのアルゴリズム—反復的ハードスラッグ、グリーディ、および部分スパースシンプレックス—を提案する。主な貢献は、目的関数が非凸であっても、スパース制約が非凸かつ不連続であっても、これらのアルゴリズムが新しい停留性条件を満たす点に収束することの証明である。

ABSTRACT

This paper treats the problem of minimizing a general continuously differentiable function subject to sparsity constraints. We present and analyze several different optimality criteria which are based on the notions of stationarity and coordinate-wise optimality. These conditions are then used to derive three numerical algorithms aimed at finding points satisfying the resulting optimality criteria: the iterative hard thresholding method and the greedy and partial sparse-simplex methods. The first algorithm is essentially a gradient projection method while the remaining two algorithms are of coordinate descent type. The theoretical convergence of these methods and their relations to the derived optimality conditions are studied. The algorithms and results are illustrated by several numerical examples.

研究の動機と目的

• 連続的に微分可能な関数を基数制約（つまり、スパース制約）の下で最小化するための必要十分最適性条件を導出すること。
• 一般の非凸目的関数に対して、これらの最適性条件を満たす点に収束する数値的アルゴリズムの設計と解析を行うこと。
• 圧縮センシングに限らない、一般の非線形問題へまで拡張可能な反復的ハードスラッグ法の一般化を行うこと。
• やや滑らかさの仮定が弱い条件下で、提案されたアルゴリズムの理論的収束を確立すること。

提案手法

• 非凸スパース制約付き問題における停留性と座標単位最適性に基づき、3つの異なる最適性条件を導出する。
• 勾配投影型アルゴリズムとしての反復的ハードスラッグ法を提案し、ステップサイズを1として一般の滑らかな目的関数に適している。
• 目的関数の改善を図りながらスパーシティを維持するため、最も有望な座標を逐次更新するグリーディ法を導入する。
• 各ステップで座標の部分集合に対して最適化を行う座標降下法としての部分スパースシンプレックス法を開発する。
• 勾配のリプシッツ連続性（L2(f)）を用いて降下保証と収束速度を導出する。
• 生成された列がL2(f)-停留性を満たす点に収束することを確立し、これはサポート集合に関する勾配の大きさの上限として定義される。

実験結果

リサーチクエスチョン

• RQ1 連続的に微分可能な目的関数を伴う一般の非凸スパース制約付き最適化問題における必要十分最適性条件は何か？
• RQ2 反復的ハードスラッグ法は、二次的でない目的関数に対しても、どのように一般化可能か？
• RQ3 非凸スパース制約の文脈において、座標降下型手法の収束保証はどのように確立できるか？
• RQ4 提案されたアルゴリズムは、圧縮センシングにおけるマッチング pursuit や反復的ハードスラッグ法といった既存手法とどのように関係しているか？
• RQ5 アルゴリズムが生成する列が停留性点に収束する条件は何か？

主な発見

• 目的関数の勾配がリプシッツ連続である場合、反復的ハードスラッグ法はL2(f)-停留性点に収束する。
• グリーディ法および部分スパースシンプレックス法もL2(f)-停留性点に収束し、降下不等式と勾配の大きさの上限を用いて収束が証明されている。
• 最適性条件は次のように定義される：点x*において、サポート集合I1(x*)上の勾配成分はゼロでなければならず、ゼロ集合I0(x*)上の勾配成分は|∇if(x*)| ≤ L2(f)M_s(x*)を満たさなければならない。ここでM_s(x*)は非ゼロ成分の最大絶対値である。
• スパースレベルが固定でない場合でも、列の蓄積点を分析することで収束を確立している。
• 凸性の仮定を必要とせず、一般の滑らかさの仮定の下で、アルゴリズムが停留性点に収束することが示されている。
• 数値例により、位相再構成や二次測定モデルを含む、非凸スパース制約付き問題の効果的な解決が示されている。