[論文レビュー] Gradient Support Projection Algorithm for Affine Feasibility Problem with Sparsity and Nonnegativity

Lili Pan, Naihua Xiu+1 more|arXiv (Cornell University)|Jun 27, 2014

Sparse and Compressive Sensing Techniques参考文献 11被引用数 8

ひとこと要約

本稿では、スパarsityおよび非負制約を伴うアフィン可解問題を解くための新規勾配サポートプロジェクション法（GSPA）を提案する。接空間および法線錐解析とアーミジョ型ラインサーチを活用することで、s-正則性のもとで完全収束を達成し、ノイズなしおよびノイズありの回復において、NIHT、CoSaMP、SPを上回る速度とロバスト性を示す。

ABSTRACT

Let $A$ be a real $M imes N$ measurement matrix and $b\in \mathbb{R}^M$ be an observations vector. The affine feasibility problem with sparsity and nonnegativity ($AFP_{SN}$ for short) is to find a sparse and nonnegative vector $x\in \mathbb{R}^N$ with $Ax=b$ if such $x$ exists. In this paper, we focus on establishment of optimization approach to solving the $AFP_{SN}$. By discussing tangent cone and normal cone of sparse constraint, we give the first necessary optimality conditions, $α$-Stability, T-Stability and N-Stability, and the second necessary and sufficient optimality conditions for the related minimization problems with the $AFP_{SN}$. By adopting Armijo-type stepsize rule, we present a framework of gradient support projection algorithm for the $AFP_{SN}$ and prove its full convergence when matrix $A$ is $s$-regular. By doing some numerical experiments, we show the excellent performance of the new algorithm for the $AFP_{SN}$ without and with noise.

研究の動機と目的

• 信号処理、機械学習、画像再構築において生じる、スパarsityおよび非負制約を伴うアフィン可解問題を解く挑戦に取り組む。
• 非凸的かつNP困難な問題の性質を扱うために、勾配プロジェクションとサポート同定を組み合わせた新しい最適化フレームワークを開発する。
• 非負性制約下でのスパース最適化における、第一および第二順序の最適性条件を厳密に確立する。α安定性、T安定性、N安定性を含む。
• 測定行列Aのs-正則性条件のもとで、提案手法のグローバル収束を証明する。
• ノイズありおよびノイズなしの広範な数値実験を通じて、アルゴリズムのロバスト性と効率性を示す。

提案手法

• スパース非負可解問題を、$ \|x\|_0 \leq s $ および $ x \geq 0 $ の制約のもとで、最小二乗残差 $ \frac{1}{2}\|Ax - b\|^2 $ の最小化問題として定式化する。
• ボリャン・およびクラークの概念を用いて、スパース集合の接空間および法線錐を定義・分析し、最適性条件を導出する。
• スパース制約付き最適化における3つの安定性概念—α安定性、T安定性、N安定性—を定義し、特にα安定性が最も厳しい条件であることを示す。
• 勾配降下とハードスレッショルドによるサポートプロジェクションを交互に実行する、勾配サポートプロジェクション法（GSPA）を提案する。
• 十分な減少を保証し収束を確保するため、アーミジョ型ラインサーチルールを用いてステップサイズを動的に選択する。
• 各反復で非負の象限へのプロジェクションとサポート同定を統合し、可解性とスパarsityを維持する。

実験結果

リサーチクエスチョン

• RQ1 与えられた制約のもとで、スパース非負可解問題の必要十分最適性条件は何か？
• RQ2 スパース最適化の文脈において、α安定性、T安定性、N安定性といった安定性概念をどのように定義し、それらを関連づけることができるか？
• RQ3 サポートプロジェクションと適応的ラインサーチを組み合わせた勾配ベースの手法が、このNP困難問題に対してグローバル収束を達成できるか？
• RQ4 ノイズおよびスパarsityレベルの変動に応じて、提案手法GSPAはNIHT、CoSaMP、SPといった既存手法と比べて性能およびロバスト性で優れているか？
• RQ5 高次元設定におけるノイズありおよびノイズなしの状況下で、GSPAの計算効率および収束特性はいかなるものか？

主な発見

• 測定行列Aがs-正則性を満たす限り、提案されたGSPAアルゴリズムは完全収束を達成し、この手法に対する理論的保証を確立する。
• ノイズなし回復では、GSPAは約20反復で残差誤差 $ \|Ax - b\| $ がゼロに達し、NIHT、CoSaMP、SPを上回る収束速度を示す。
• ノイズあり条件下（$ s = 1\%N $）では、GSPAは低誤差水準（例：$ N=10000 $ 時に $ \|Ax - b\| \approx 0.4889 $）を維持し、CPU時間も最速（$ N=10000 $ 時に1.4000秒）を記録。SP（1.1757秒）やCoSaMP（3.3096秒）を大きく上回る。
• GSPAはさまざまなスパarsityレベルおよび問題サイズに対してロバストであり、Nの増加に伴う性能劣化が最小限に抑えられる。
• CoSaMPおよびSPはノイズなし状況では正確な回復を達成するが、ノイズ下では著しく性能が低下し、GSPAに比べて計算コストがはるかに高い。
• アルゴリズムの性能はサンプルサイズMおよびNにかかわらず安定的かつ一貫しており、スパarsityレベルsに対しても過敏ではなく、高次元問題に適している。