[論文レビュー] On the resolution of l0 minimization problems via alternating Lagrangian schemes

Yue Xie, Uday V. Shanbhag|arXiv (Cornell University)|Oct 12, 2017

Sparse and Compressive Sensing Techniques被引用数 1

ひとこと要約

本稿では、スパース復元や機械学習において重要なℓ₀最小化問題を、補完制約を伴う数学的計画問題（MPCC）に再定式化することで解く手法を提案する。ADMMおよび増大ラグランジュスキームを用い、KKT点および局所最小解への収束を証明する。ADMMは低次元では近似的にグローバル解に近い解を達成し、高次元でも競争力のある性能を示す。

ABSTRACT

We consider an $\ell_0$-minimization problem where $f(x) + \|x\|_0$ is minimized over a polyhedral set and the $\ell_0$-norm penalty implicitly emphasizes sparsity of the solution. Such a setting captures a range of problems in image processing and statistical learning. However, given the the nonconvex and discontinuous nature of this norm, convex penalties are often employed as substitutes, and far less is known about directly solving the $\ell_0$-minimization problem. In this paper, inspired by Feng et.al. [20], we consider the resolution of an equivalent formulation of the $\ell_0$-minimization problem as a mathematical program with complementarity constraints (MPCC) and make the following contributions. (i) First, we show that feasible points of this formulation satisfy Guignard constraint qualification. In fact, under suitable convexity assumptions on $f(x)$, KKT conditions are sufficient. (ii) Next, we consider the resolution of the MPCC formulation through two Lagrangian schemes. The first is an ADMM scheme in which we prove that despite the overall nonconvexity, each ADMM subproblem can be solved efficiently recognizing a hidden convexity property. Furthermore, every limit point of the sequence produced by this scheme is a first-order KKT point and a local minimizer, under additional conditions. (iii) The second algorithm is an augmented Lagrangian scheme in which the Lagrangian subproblem is resolved by a proximal alternating algorithm. Under suitable boundedness requirements, the sequence admits a limit point that satisfies the criticality requirement. Preliminary numerics show that solutions of the ADMM scheme are near global in low dimensions and competitive against other methods in high dimensions. Moreover, the augmented Lagrangian scheme often provides solutions of comparable or better quality than the ADMM scheme at some computational cost.

研究の動機と目的

• スパース信号復元や統計的学習において生じる非凸的かつ不連続なℓ₀最小化問題を直接解くという課題に対処する。
• ℓ₁正則化などの凸緩和法の限界を克服し、元のℓ₀ノルム定式化を直接標的とする手法を開発する。
• 適切な仮定の下で、一次の最適性条件（KKT条件）への収束に関する理論的保証を確立する。
• 全体として非凸的であるが、部分問題に隠れた凸性を活用する効率的なアルゴリズムを設計する。
• ADMMと増大ラグランジュスキームの解の質および計算コストに関する性能を比較する。

提案手法

• ℓ₀最小化問題を補完制約を伴う数学的計画問題（MPCC）に再定式化し、制約付き最適化手法の適用を可能にする。
• 各部分問題が非凸的であるが、隠れた凸性構造を認識することで効率的に解けるADMMスキームを適用する。
• ADMMの列の任意の極限点が、追加の凸性および有界性仮定の下で一次のKKT条件を満たし、局所最小解であることを証明する。
• 非凸性を扱うために、ラグランジュ部分問題を近接交互アルゴリズムで解く増大ラグランジュスキームを構築する。
• 増大ラグランジュ列の有界性要件を満たす場合、臨界点（KKT条件を満たす点）への収束を確立する。
• 凸性仮定の下でGuignard制約規準およびKKT十分条件を活用し、理論的保証を強化する。

実験結果

リサーチクエスチョン

• RQ1 MPCC再定式化を用いてℓ₀最小化問題を効果的に解くことができ、理論的収束保証を維持できるか？
• RQ2 非凸性があるにもかかわらず、MPCC定式化にADMMスキームを適用すると、KKT点および局所最小解に収束するか？
• RQ3 解の質および計算コストの観点から、ADMMスキームと増大ラグランジュスキームの性能はどのように比較できるか？
• RQ4 非凸的ℓ₀最小化問題におけるADMMフレームワークで、部分問題を効率的に解くために利用される隠れた凸性の性質は何か？
• RQ5 どのような条件下で、提案手法がグローバル解に近い解、または既存手法と同等の性能を発揮するか？

主な発見

• MPCC定式化の実行可能点はGuignard制約規準を満たし、f(x)に関する凸性仮定の下ではKKT条件が最適性の十分条件である。
• 追加の条件のもとで、ADMMスキームは一次のKKT点および局所最小解に収束し、各部分問題は隠れた凸性のおかげで効率的に解ける。
• 予備的数値実験では、ADMMスキームが低次元問題においてグローバル最適解に近い解を生成することが示された。
• 高次元では、ADMMスキームが他の既存手法と同等の性能を示した。
• 増大ラグランジュスキームは、ADMMと同等またはより優れた解の質を達成したが、計算コストは高かった。
• 適切な有界性仮定のもとで、増大ラグランジュスキームは臨界点（KKT条件を満たす点）を極限点として持つことが保証された。