[論文レビュー] Alternating Direction Algorithms for $\ell_1$-Problems in Compressive Sensing

Junfeng Yang, Yin Zhang|ArXiv.org|Dec 7, 2009

Sparse and Compressive Sensing Techniques参考文献 47被引用数 776

ひとこと要約

本稿では、圧縮センシングにおける $\alpha$-ノルム最小化問題（例：ベースベイス・プルーリングやノイズ除去）を解くために、交替方向乗法法（ADM）に基づく一階級のプリマル・デュアルアルゴリズムを提案する。問題を部分的に分離可能な形に再定式化し、正確または近似的なADMを適用することで、特にノイズが存在する条件下でも高速かつ安定で頑健な収束を達成し、相対誤差低減率と反復効率の面で最先端の手法を上回る性能を示す。

ABSTRACT

In this paper, we propose and study the use of alternating direction algorithms for several $\ell_1$-norm minimization problems arising from sparse solution recovery in compressive sensing, including the basis pursuit problem, the basis-pursuit denoising problems of both unconstrained and constrained forms, as well as others. We present and investigate two classes of algorithms derived from either the primal or the dual forms of the $\ell_1$-problems. The construction of the algorithms consists of two main steps: (1) to reformulate an $\ell_1$-problem into one having partially separable objective functions by adding new variables and constraints; and (2) to apply an exact or inexact alternating direction method to the resulting problem. The derived alternating direction algorithms can be regarded as first-order primal-dual algorithms because both primal and dual variables are updated at each and every iteration. Convergence properties of these algorithms are established or restated when they already exist. Extensive numerical results in comparison with several state-of-the-art algorithms are given to demonstrate that the proposed algorithms are efficient, stable and robust. Moreover, we present numerical results to emphasize two practically important but perhaps overlooked points. One point is that algorithm speed should always be evaluated relative to appropriate solution accuracy; another is that whenever erroneous measurements possibly exist, the $\ell_1$-norm fidelity should be the fidelity of choice in compressive sensing.

研究の動機と目的

• 圧縮センシングに生じる $\ell_1$-最小化問題を効率的かつ安定的かつ頑健に解くための一階級のアルゴリズムを開発すること。
• ノイズや汚損された測定値を伴う不定線形システムからのスパース信号の復元という課題に取り組むこと。
• 収束速度と解の精度という観点から、既存の最先端ソルバーに比べて提案されたADMベースのアルゴリズムの優位性を示すこと。
• 誤った測定値が存在する状況において、$\ell_1$-ノルム適合項の重要性を強調し、$\ell_2$-ノルム適合項よりも好ましい使用を提唱すること。
• ベースベイス・プルーリング、ノイズ除去の変種、非負の対応形を含む、複数の $\ell_1$-問題に適用可能な統一されたフレームワークを提供すること。

提案手法

• $\ell_1$-問題を補助変数と制約を導入することで、部分的に分離可能な形に再定式化する。
• 増強ラグランジュ関数と交互最小化を用いて、再定式化された問題に交替方向法（ADM）を適用する。
• プライマルベースとデュアルベースの2つのアルゴリズムクラスを導出する。両者とも、各反復でプライマル変数とデュアル変数を更新する。
• ADMフレームワーク内での正確または近似的な部分問題解法を用い、1反復あたりの計算コストは2回の行列-ベクトル乗算が支配的である。
• 感度行列 $A$ が正規直交である場合、デュアルベースのADMを正確な手法として実装し、効率を向上させる。
• 非負の変種を含む8種類の異なる $\ell_1$-モデルを対象とした、提案アルゴリズムを実装するMATLABパッケージYALL1を開発する。

実験結果

リサーチクエスチョン

• RQ1 ADMフレームワークから導出された一階級のプリマル・デュアルアルゴリズムは、最先端の手法と比較して、圧縮センシングにおける $\ell_1$-問題に対してより高速かつ安定した収束を達成できるか？
• RQ2 実用的応用において、異なるノイズレベルや停止許容誤差の下で、提案されたADMアルゴリズムの性能はどのように変化するか？
• RQ3 測定値に誤差が含まれる状況で、なぜ $\ell_1$-ノルム適合項が $\ell_2$-ノルム適合項よりも効果的なのか？
• RQ4 アルゴリズムパラメータが収束性と解の精度に与える影響は何か？また、異なる問題例にわたって頑健性を維持するにはどうすればよいか？
• RQ5 ADMフレームワークは、行列ランク最小化や全変動正則化などの、他の $\ell_1$-類似の正則化問題へどの程度一般化可能か？

主な発見

• 提案されたADMアルゴリズムは、ノイズを含むテスト問題において、FPC-BB、SpaRSA、FISTA、CGD、SPGL1、NESTA よりも高速に収束し、相対誤差を低く抑える。
• デュアルベースのADMアルゴリズムは、一般にプライマルベースのものよりも効率的であり、特に $A$ が正規直交である場合には、正確な部分問題解法によりその優位性が顕著になる。
• アルゴリズムはモデルやアルゴリズムパラメータの変更に対して頑健であり、多様な問題設定において一貫した性能を示す。
• ノイズが存在する条件下でも、他の手法が高精度解を必要としない場合でさえも、提案されたアルゴリズムは、達成可能な最高の解の精度を達成する。
• 式 (6) の $\ell_1$-ノルム適合項は、正確なペナルティ法として機能し、$\nu$ が閾値未満のときにはベースベイス・プルーリングに帰着するため、誤った測定値に対して最適である。
• YALL1 MATLABパッケージは、8種類の $\ell_1$-モデルに正しく実装されており、広範な適用可能性と実用的価値を示している。