[論文レビュー] Sparse Recovery via Partial Regularization: Models, Theory and Algorithms

Zhaosong Lu, Xiaorui Li|arXiv (Cornell University)|Nov 23, 2015

Sparse and Compressive Sensing Techniques参考文献 32被引用数 6

ひとこと要約

本稿では、最も大きな |r| 個の正則化項の和を最小化することにより、標準的な ℓ₁ 正則化に内在するバイアスを低減する部分正則化モデルを提案する。この手法は、従来の制限等方性性質（RIP）よりも弱い条件下でも、スパース解のグローバルまたはローカルな回復を保証する。1次元の部分問題に閉形式解が得られるため、1次順位の実行可能増大ラグランジュ法により効率的な解法が可能となり、圧縮センシングおよびロジスティック回帰において、既存手法を上回る性能を発揮する。

ABSTRACT

In the context of sparse recovery, it is known that most of existing regularizers such as $\ell_1$ suffer from some bias incurred by some leading entries (in magnitude) of the associated vector. To neutralize this bias, we propose a class of models with partial regularizers for recovering a sparse solution of a linear system. We show that every local minimizer of these models is sufficiently sparse or the magnitude of all its nonzero entries is above a uniform constant depending only on the data of the linear system. Moreover, for a class of partial regularizers, any global minimizer of these models is a sparsest solution to the linear system. We also establish some sufficient conditions for local or global recovery of the sparsest solution to the linear system, among which one of the conditions is weaker than the best known restricted isometry property (RIP) condition for sparse recovery by $\ell_1$. In addition, a first-order feasible augmented Lagrangian (FAL) method is proposed for solving these models, in which each subproblem is solved by a nonmonotone proximal gradient (NPG) method. Despite the complication of the partial regularizers, we show that each proximal subproblem in NPG can be solved as a certain number of one-dimensional optimization problems, which usually have a closed-form solution. We also show that any accumulation point of the sequence generated by FAL is a first-order stationary point of the models. Numerical results on compressed sensing and sparse logistic regression demonstrate that the proposed models substantially outperform the widely used ones in the literature in terms of solution quality.

研究の動機と目的

• スパース回復における ℓ₁ 正則化のバイアス（特に大きな絶対値の成分を優遇する性質）を是正すること。
• |x| の最大の |r| 個の成分の和を最小化する部分正則化子を用いたモデルのクラスを構築し、バイアスを低減すること。
• これらのモデルがグローバルまたはローカルに最もスパースな解を回復する理論的条件を確立すること。
• 部分正則化モデルを解くための効率的で、グローバル収束保証付きの1次順位アルゴリズムを設計すること。
• 既存手法と比較して、圧縮センシングおよびスパースロジスティック回帰において、より優れた解の品質を示すこと。

提案手法

• 部分正則化モデルを提案：||Ax - b|| ≤ σ を満たす下で ∑_{i=r+1}^n φ(|x|_{[i]}) を最小化。ここで |x|_{[i]} は |x| の i 番目に大きい絶対値の成分を表す。
• 各部分問題を解くために非単調近接勾配（NPG）法を用い、それぞれが閉形式解を持つ有限個の1次元最適化問題に還元可能であることを活用する。
• 全体のモデルを解くために1次順位の実行可能増大ラグランジュ（FAL）法を採用し、1階停留点への収束を保証する。
• 理論的取り扱いやすさを確保するため、φ に仮定1（下半連続、増加関数、φ(0) = 0）を課す。
• 最もスパースな解のグローバルおよびローカル回復の十分条件を導出。標準的な制限等方性性質（RIP）よりも弱い条件を含む。
• FAL-NPG アルゴリズムのグローバル収束を確立。すべての蓄積点が1階停留点であることを示す。

実験結果

リサーチクエスチョン

• RQ1 部分正則化は、ℓ₁ 最小化におけるバイアス（特に大きな絶対値のスパース成分の回復を歪める性質）を低減できるか？
• RQ2 部分正則化モデルが線形方程式系の最もスパースな解をグローバルに回復する条件は何か？
• RQ3 提案モデルの回復条件は、ℓ₁ 最小化の最良知られているRIP条件よりも弱いか？
• RQ4 部分正則化モデルは、収束保証と低コストで効率的に解けるか？
• RQ5 実世界の応用、特に圧縮センシングおよびロジスティック回帰において、提案モデルの解の品質は ℓ₁ や他の非凸正則化子と比較して優れているか？

主な発見

• 提案された部分正則化モデルは、正則化子 φ が特定の条件を満たす限り、標準的な制限等方性性質（RIP）よりも弱い条件下でも、最もスパースな解をグローバルに回復する。
• モデルの任意の局所最小解は、十分にスパースであるか、またはすべての非ゼロ成分の絶対値が、行列 A とベクトル b のみに依存する定数以上である。
• FAL-NPG アルゴリズムはグローバルに1階停留点へ収束し、各近接部分問題が閉形式解を持つ有限個の1次元最適化問題に還元可能である。
• 圧縮センシングでは、r = K（非ゼロ成分数）の場合、ℓ₁ や他の非凸正則化子と比較して、成功確率が高く、相対誤差が低い。特に K ≥ 38 の場合顕著に優れる。
• 数値実験の結果、スパースロジスティック回帰および圧縮センシングの両タスクにおいて、提案モデルは解の品質と計算効率の両面で ℓ₁ や他の非凸正則化子を上回る。