[論文レビュー] Iteratively Reweighted $\ell_1$ Approaches to Sparse Composite Regularization

Rizwan Ahmad, Philip Schniter|arXiv (Cornell University)|Apr 20, 2015

Sparse and Compressive Sensing Techniques参考文献 40被引用数 6

ひとこと要約

本稿では、複数の解析辞書にわたる合成$μat$-正則化を用いたスパース信号回復のための2つの新規アルゴリズム、Co-L1およびCo-IRW-L1を提案する。これらは、データに適応する自動的な重みチューニングを備えている。非凸な対数和および$μ$-タイプのペナルティに対する主要化最小化（MM）として、あるいは階層的事前分布を用いたベイズ的MAP推論として定式化することで、標準的なL1およびIRW-L1手法と比較して、特に複数の辞書におけるスパース性の状況下で、信号対雑音比（SNR）が最大1.3倍まで向上する。

ABSTRACT

Motivated by the observation that a given signal $\boldsymbol{x}$ admits sparse representations in multiple dictionaries $\boldsymbolΨ_d$ but with varying levels of sparsity across dictionaries, we propose two new algorithms for the reconstruction of (approximately) sparse signals from noisy linear measurements. Our first algorithm, Co-L1, extends the well-known lasso algorithm from the L1 regularizer $\|\boldsymbol{Ψx}\|_1$ to composite regularizers of the form $\sum_d λ_d \|\boldsymbolΨ_d \boldsymbol{x}\|_1$ while self-adjusting the regularization weights $λ_d$. Our second algorithm, Co-IRW-L1, extends the well-known iteratively reweighted L1 algorithm to the same family of composite regularizers. We provide several interpretations of both algorithms: i) majorization-minimization (MM) applied to a non-convex log-sum-type penalty, ii) MM applied to an approximate $\ell_0$-type penalty, iii) MM applied to Bayesian MAP inference under a particular hierarchical prior, and iv) variational expectation-maximization (VEM) under a particular prior with deterministic unknown parameters. A detailed numerical study suggests that our proposed algorithms yield significantly improved recovery SNR when compared to their non-composite L1 and IRW-L1 counterparts.

研究の動機と目的

• スパース性が複数の解析辞書にまたがり、それぞれの関連性の度合いが異なる状況下で、不定なノイズ付き線形測定値から近似的にスパースな信号を回復する課題に対処すること。
• 手動による選択を回避するため、複数の辞書にわたる正則化重みを自動的にデータ駆動でチューニングする手法を開発すること。
• 合成スパース構造を活用することで、標準的なL1および反復的重み付きL1（IRW-L1）手法を上回る信号回復性能を向上させること。
• 提案されたアルゴリズムの概念的基盤を強化するため、MM、ベイズ的MAP、VEMといった複数の理論的解釈を提供すること。

提案手法

• 主に非凸な対数和ペナルティに対する主要化最小化（MM）を用い、自己調整可能な重み$\lambda_d$を有する合成$μat$-正則化子$\sum_d \lambda_d \|\Psi_d x\|_1$を用いる新規アルゴリズムCo-L1を提案。
• IRW-L1を合成正則化子へ拡張したCo-IRW-L1を導入。反復的に過去の推定に基づき、重み$\lambda_d^{(t)}$および対角行列$W_d^{(t)}$を更新する。
• 非凸な対数和ペナルティに対するMMを用いてアルゴリズムを導出し、$\ell_0$ノルムの近似と関連付ける。また、ガンマ分布およびジェファーソンのハイパーパラメータを用いたベイズ的MAP推論とも接続する。
• 決定的未知パラメータを仮定した変分EM解釈を提供し、確率的モデリングフレームワークと関連付ける。
• 勾配更新のリプシッツ連続性を用いて、反復的最適化における収束性と安定性を保証する。
• 非凸部分問題を効率的に解くために、主要化最小化フレームワークを採用し、グローバル収束保証を可能にする。

実験結果

リサーチクエスチョン

• RQ1 複数の辞書にわたる適応的重み付き合成$μat$-正則化は、標準的なリッジ回帰（Lasso）およびIRW-L1手法を上回るスパース信号回復を実現できるか？
• RQ2 信号のスパース構造に関する事前知識が得られない状況下で、正則化重み$\lambda_d$を回復プロセス中に自動的にチューニングする方法は何か？
• RQ3 提案されたアルゴリズムとMM、ベイズ的MAP、変分EMといった確立されたフレームワークとの理論的関係は何か？
• RQ4 ノイズが強く、測定値が不十分な状況下で、本手法は既存の最先端手法をどの程度上回る信号回復SNRを達成できるか？
• RQ5 非凸ペナルティとして対数和近似を用いることで、複数の辞書設定下で凸$μat$-正則化よりも優れた回復が達成できるか？

主な発見

• 提案されたCo-L1およびCo-IRW-L1アルゴリズムは、非合成型の対応手法と比較して著しく高い信号対雑音比（SNR）を達成しており、実行時間および性能面で最大1.3倍の向上が得られた。
• 数値実験の結果、信号が複数の辞書にまたがり、関連性の度合いが異なる状況下で、Co-IRW-L1はすべてのテストケースにおいて標準的なIRW-L1およびLassoを上回ることが示された。
• 両アルゴリズムが非凸な対数和ペナルティに対するMMと等価であることが示され、$\ell_0$ノルムの近似としてのスパース性誘導行動の理論的根拠が得られた。
• 両手法は、階層的ガンマ分布およびジェファーソンの事前分布を仮定したベイズ的MAP推論と数学的に関連付けられており、確率的解釈が可能である。
• 両アルゴリズムにおける勾配更新はリプシッツ連続であることが証明され、反復的最適化の安定性と収束性が保証された。
• 合成正則化フレームワークにより、信号のスパース構造に応じた自動的重みチューニングが可能となり、耐障害性および精度が向上した。