[論文レビュー] A Unified Primal Dual Active Set Algorithm for Nonconvex Sparse Recovery

Jian Huang, Yuling Jiao+4 more|arXiv (Cornell University)|Oct 4, 2013

Sparse and Compressive Sensing Techniques被引用数 3

ひとこと要約

本稿では、ℓ⁰、ブリッジ、SCAD、MCP、キャップド-ℓ¹などの罰則を用いた非凸スパース復元問題に対する統一的プリマルデュアルアクティブセット（UPDAS）アルゴリズムを提案する。閾値化作用素を用いて必要十分最適性条件を導出し、プリマル・デュアル変数の結合を活用することで、反復的にアクティブセットを更新し、小規模な最小二乗部分問題を解く。設計行列に制限等長性条件が成り立つ場合、グローバル収束を達成し、シミュレート済みおよび実データにおける数値実験で優れた効率性と正確性を示した。

ABSTRACT

In this paper, we consider the problem of recovering a sparse signal based on penalized least squares formulations. We develop a novel algorithm of primal-dual active set type for a class of nonconvex sparsity-promoting penalties, including $\ell^0$, bridge, smoothly clipped absolute deviation, capped $\ell^1$ and minimax concavity penalty. First we establish the existence of a global minimizer for the related optimization problems. Then we derive a novel necessary optimality condition for the global minimizer using the associated thresholding operator. The solutions to the optimality system are coordinate-wise minimizers, and under minor conditions, they are also local minimizers. Upon introducing the dual variable, the active set can be determined using the primal and dual variables together. Further, this relation lends itself to an iterative algorithm of active set type which at each step involves first updating the primal variable only on the active set and then updating the dual variable explicitly. When combined with a continuation strategy on the regularization parameter, the primal dual active set method is shown to converge globally to the underlying regression target under certain regularity conditions. Extensive numerical experiments with both simulated and real data demonstrate its superior performance in efficiency and accuracy compared with the existing sparse recovery methods.

研究の動機と目的

• 広範なスパース性誘導罰則のクラスをカバーする、非凸スパース復元問題を解くための統一的かつ効率的なアルゴリズムの開発。
• グローバル最小解の存在を確立し、非凸罰則に対して閾値化作用素を用いて必要十分最適性条件を導出すること。
• アクティブセット上で交互にプリマルおよびデュアル変数を更新する反復的アルゴリズムの設計により、局所的超線形収束を保証すること。
• 設計行列に制限等長性性質（RIP）が成り立つ条件下で、アルゴリズムのグローバル収束を証明すること。
• 合成および実世界の遺伝学的データを用いた広範な数値実験を通じて、本手法の効率性および正確性を示すこと。

提案手法

• アルゴリズムは、アクティブセットがプリマルおよびデュアル変数から同時に決定されるプリマルデュアルアクティブセットフレームワークに基づく。
• 各反復で、プリマル変数はアクティブセット上で最小二乗解を用いてのみ更新され、計算コストを顕著に削減する。
• 最適性系から導出された閉形式の式を用いて、デュアル変数を明示的に更新する。
• 収束性および解の正確性を向上させるために、正則化パラメータに対する継続戦略を採用する。
• 非凸罰則から導出される閾値化作用素に依存し、必要十分最適性条件を特徴付ける。
• 理論的解析により、最適性系の解が座標単位最小化子であることが示され、やや緩い条件下では局所最小化子でもある。

実験結果

リサーチクエスチョン

• RQ1 ℓ⁰、ブリッジ、SCAD、MCP、キャップド-ℓ¹を含む複数の非凸スパース促進罰則に対して、統一的アルゴリズムを開発可能か？
• RQ2 非凸スパース復元におけるグローバル最小解の必要十分最適性条件は何か？ また、閾値化作用素を用いてどのように表現できるか？
• RQ3 非凸設定下で、プリマルおよびデュアル変数を併用してアクティブセットを効率的に特定できるか？
• RQ4 提案されたプリマルデュアルアクティブセットアルゴリズムが、真の解へグローバル収束する条件は何か？
• RQ5 実データおよびシミュレート済みデータにおいて、既存手法と比較して本アルゴリズムの性能（正確性および計算効率）はどのように異なるか？

主な発見

• 提案されたUPDASアルゴリズムは、設計行列に制限等長性（RIP）条件が成り立つ場合、元の回帰ターゲットへグローバル収束を達成する。
• 各反復でアクティブセット上で小規模な最小二乗問題を解くことにより、局所的超線形収束を示す。
• シミュレート済みデータにおける数値実験では、UPDASは既存手法を上回る解の正確性と計算速度を示した。
• 実世界の遺伝学的データセット（NFBC1966、n=5,123、p=9,114個のSNP）において、ℓ⁰では18個のSNP、ℓ¹/²では11個、SCAD/MCPでは27個、キャップド-ℓ¹では27個を同定し、罰則間で強い一貫性を示した。
• rs3764261およびrs7499892といった、HDLコレステロールレベルに関連するCETP遺伝子周辺の既知の生物学的関連性を正常に回復した。
• 新規のチューニングパrameter選択ルールと継続戦略の組み合わせにより、実用的においてもアルゴリズムの正確性およびロバスト性がさらに向上した。