[論文レビュー] Nonconvex and Nonsmooth Sparse Optimization via Adaptively Iterative Reweighted Methods

Hao Wang, Fan Zhang+2 more|arXiv (Cornell University)|Oct 24, 2018

Sparse and Compressive Sensing Techniques参考文献 48被引用数 13

ひとこと要約

本稿では、凸集合制約を伴う非凸かつ非滑らかでスパースな最適化問題を解くための一般化された適応的反復的重み付けアルゴリズムフレームワークを提案する。動的に更新される重みを用いた一連の重み付き凸部分問題を逐次解くことで、きわめて緩い仮定のもとでグローバル収束を達成し、スパース信号回復および画像再構成の分野で優れた性能を示す。

ABSTRACT

We propose a general formulation of nonconvex and nonsmooth sparse optimization problems with convex set constraint, which can take into account most existing types of nonconvex sparsity-inducing terms, bringing strong applicability to a wide range of applications. We design a general algorithmic framework of iteratively reweighted algorithms for solving the proposed nonconvex and nonsmooth sparse optimization problems, which solves a sequence of weighted convex regularization problems with adaptively updated weights. First-order optimality condition is derived and global convergence results are provided under loose assumptions, making our theoretical results a practical tool for analyzing a family of various reweighted algorithms. The effectiveness and efficiency of our proposed formulation and the algorithms are demonstrated in numerical experiments on various sparse optimization problems.

研究の動機と目的

• 一般の凸集合制約を伴う非凸的かつ非滑らかなスパース最適化問題を解く際の計算的課題に対処すること。
• 標準的な ℓp ノルムを超える多様なスパース性誘導項に適用可能な統一的なアルゴリズムフレームワークを開発すること。
• リプシッツ連続性を要件としない弱い仮定のもとで、グローバル収束の保証を確立することにより、多様な重み付けアルゴリズムの理論的解析を可能とすること。
• 収束速度が向上し、既存手法に比べてより効率的かつロバストになるように、ゼロに近づく必要がある緩和パラメータに依存しないようにすること。
• スパース信号復元および画像再構成タスクにおける広範な数値実験を通じて、提案フレームワークの有効性を示すこと。

提案手法

• 多様なスパース性誘導項を扱える、凸集合制約を伴う非凸的かつ非滑らかなスパース最適化問題の一般化された定式化を提案する。
• 現在の反復点に基づいて動的に更新される重みを用いる適応的反復的重み付けアルゴリズムを設計し、一連の重み付き凸部分問題を逐次解く。
• 非凸的かつ非滑らかな問題に対する一次の最適性条件を導出し、厳密な収束解析を可能にする。
• リプシッツ連続性を要件としない、緩い仮定（強凸性と下界半連続性を含む）のもとで、臨界点へのグローバル収束を確立する。
• 2つの変種を実装する：ℓ1に基づくアルゴリズム（非滑らか部分問題）とℓ2に基づくアルゴリズム（滑らか部分問題）、両者ともに適応的重み更新を採用する。
• 部分問題を効率的に解くために、モラウエンvelope近似とNPG_major法を活用し、p=1/2 または 2/3 の ℓp ノルムに対して解析的近接作用素を用いる。

実験結果

リサーチクエスチョン

• RQ1 多様なスパース性誘導項を扱える、非凸的かつ非滑らかなスパース最適化のための統一的アルゴリズムフレームワークを開発できるか？
• RQ2 非リプシッツ連続的で非凸的かつ非滑らかな問題に対して、適応的反復的重み付け法がどのような条件下で臨界点へのグローバル収束を達成するか？
• RQ3 提案フレームワークの性能は、既存の重み付け手法と比較して収束速度および解の品質の面で優れているか？
• RQ4 理論的収束保証を維持したまま、一般の凸集合制約を扱えるようにフレームワークを拡張できるか？
• RQ5 適応的重み更新戦略が、緩和パラメータへの感受性を低減させ、ロバスト性を向上させる影響は何か？

主な発見

• 提案された適応的反復的重み付けフレームワークは、下界半連続性と強凸性のみを仮定する弱い条件下でも、臨界点へのグローバル収束を達成する。
• アルゴリズムのℓ1ベースの変種は、ℓ1正則化がスパース性を促進する性質を有するため、ℓ2ベースの変種よりも収束が速く、大幅に少ない反復回数で収束する。
• スパース信号復元および画像再構成に関する数値実験を通じて、回復精度と収束速度の両面で優れた性能を示す。
• ゼロに近づく必要がある緩和パラメータに依存せずに、非リプシッツ連続的で非凸的なスパース性誘導項を効果的に処理できる。
• 高次元かつ悪条件なデータを含む多様な問題例に対しても、アルゴリズムはロバスト性と効率性を維持する。
• モラウエンvelope近似とNPG_major法を用いた実装により、部分問題の効率的解法が可能となり、特にp=1/2およびp=2/3に対して解析的近接作用素が有効に機能する。