[論文レビュー] Minimization of Transformed $L_1$ Penalty: Closed Form Representation and Iterative Thresholding Algorithms

Shuai Zhang, Jack Xin|arXiv (Cornell University)|Dec 17, 2014

Sparse and Compressive Sensing Techniques参考文献 27被引用数 5

ひとこと要約

本稿では、変換された$L_1$（TL1）正則化に対する閉形式のしきい値関数を導入し、圧縮センシングにおけるスパース信号回復のための効率的な反復的しきい値関数アルゴリズムを可能にする。TL1手法は、非一様および一様なセンシング行列において優れたロバスト性と精度を示し、特に自己適応的半反復的スキーム（TL1IT-s1）により、ハードしきい値関数およびハーフしきい値関数を上回る性能を発揮する。

ABSTRACT

The transformed $l_1$ penalty (TL1) functions are a one parameter family of bilinear transformations composed with the absolute value function. When acting on vectors, the TL1 penalty interpolates $l_0$ and $l_1$ similar to $l_p$ norm ($p \in (0,1)$). In our companion paper, we showed that TL1 is a robust sparsity promoting penalty in compressed sensing (CS) problems for a broad range of incoherent and coherent sensing matrices. Here we develop an explicit fixed point representation for the TL1 regularized minimization problem. The TL1 thresholding functions are in closed form for all parameter values. In contrast, the $l_p$ thresholding functions ($p \in [0,1]$) are in closed form only for $p=0,1,1/2,2/3$, known as hard, soft, half, and 2/3 thresholding respectively. The TL1 threshold values differ in subcritical (supercritical) parameter regime where the TL1 threshold functions are continuous (discontinuous) similar to soft-thresholding (half-thresholding) functions. We propose TL1 iterative thresholding algorithms and compare them with hard and half thresholding algorithms in CS test problems. For both incoherent and coherent sensing matrices, a proposed TL1 iterative thresholding algorithm with adaptive subcritical and supercritical thresholds consistently performs the best in sparse signal recovery with and without measurement noise.

研究の動機と目的

• すべてのパrameter値に対してTL1しきい値関数の閉形式表現を開発すること。これは、$p \in (0,1)$ の $L_p$ 正則化に対しては閉形式解が限られているのを克服する。
• TL1に基づく反復的しきい値関数アルゴリズムを設計し、計算的に効率的かつ高次元の圧縮センシング問題に適したものとする。
• 非一様および一様なセンシング行列、測定ノイズの有無を問わず、TL1に基づくアルゴリズムのスパース信号回復性能を評価する。
• 特に自己適応的パrameter更新を通じて、さまざまなスパースレベルおよび測定条件においてTL1しきい値関数のロバスト性を確立する。
• $L_0$、$L_1$、ハーフしきい値関数などの既存の非凸スパース促進正則化と比較し、回復精度と安定性の観点からTL1を評価する。

提案手法

• 行列乗算とスカラーチャンキング操作を用いて、TL1正則化最小化問題の固定点表現を導出する。
• 変換パrameter $a$ のすべてのパラメータ値に対してTL1しきい値関数の閉形式式を確立し、臨界的および超臨界的領域で異なる公式を提示する。
• 直接固定点アルゴリズム（DFA）、半自己適応的（TL1IT-s1）、自己適応的（TL1IT-s2）の3つの反復的しきい値関数アルゴリズムを導入し、正則化および変換パラメータの更新方法に差を設ける。
• 半自己適応スキーム（TL1IT-s1）を採用し、解のスパース度の推定に基づいて正則化パラメータ $\lambda$ を動的に調整することで、収束性と精度を向上させる。
• 超臨界的領域におけるしきい値関数の計算に、逆余弦関数（三倍角恒等式を介して）を含む立方根の公式を用い、解析的取り扱いの可能性を保証する。
• 各ステップで行列-ベクトル乗算と要素ごとのしきい値処理を含む固定点反復フレームワークにしきい値関数を適用する。

実験結果

リサーチクエスチョン

• RQ1 $L_p$ 正則化が特定の $p$ のみで閉形式解を有するのとは異なり、変換された $L_1$ 正則化は、すべてのパラメータ値に対して閉形式のしきい値関数で表現可能か？
• RQ2 パラメータ $a$ と $\lambda$ に応じて、臨界的および超臨界的領域におけるTL1しきい値関数の挙動（連続性および不連続性）の違いは何か？
• RQ3 TL1に基づく反復的しきい値関数アルゴリズムは、非一様および一様なセンシング行列からの圧縮センシング測定値からスパース信号を回復する際に、どの程度の性能を示すか？
• RQ4 測定ノイズが存在する条件下で、自己適応的TL1IT-s1アルゴリズムはハードおよびハーフしきい値関数と比較して、回復精度とロバスト性においてどのように差を示すか？
• RQ5 真のスパース度が正確に分かっていない場合でも、TL1しきい値関数は、スパース度の推定が粗くても安定性と精度を維持できるか？

主な発見

• 変換パラメータ $a$ のすべての値に対して、TL1しきい値関数が閉形式で表現可能である。これは、$L_p$ 正則化が $p = 0, 1, 1/2, 2/3$ のみで閉形式解を有するのとは対照的である。
• TL1しきい値関数は、臨界的領域では連続的（ソフトしきい値関数に類似）であり、超臨界的領域では不連続的（ハーフしきい値関数に類似）である。この挙動はパラメータ $a$ と $\lambda$ に依存する。
• スパース度の推定に基づいて $\lambda$ を自己適応的に更新する本稿で提案するTL1IT-s1アルゴリズムは、非一様（ガウス）および一様（過サンプリングDCT）のセンシング行列において、ハードおよびハーフしきい値関数アルゴリズムを常に上回る性能を発揮する。
• 測定ノイズが存在する状況下でも、TL1IT-s1はその優れた性能を維持し、多様なセンシング条件においてロバストであることが示された。
• 真のスパース度が正確に分かっていない場合でも、測定回数が一定の閾値を超える限り、アルゴリズムは安定性を示す。
• TL1しきい値関数は、不偏性、スパース性、連続性といった望ましい性質を満たしており、高次元設定における変数選択に適している。