[論文レビュー] Comparison of several reweighted l1-algorithms for solving cardinality minimization problems

Mohammad Javad Abdi|arXiv (Cornell University)|Apr 24, 2013

Sparse and Compressive Sensing Techniques参考文献 30被引用数 5

ひとこと要約

本稿では、スパース復元の性能を向上させるために $l_0$-ノルムの凹関数近似を用いた、いくつかの再重み付け $l_1$-アルゴリズムを提案し、数値的に比較している。主な貢献は、再重み付けスキームにおけるパラメータチューニング、特に $p$、$q$、および $
$ が、さまざまな分布とスパースレベルにおいてスパース解の回復成功率に顕著な影響を与えることの実証である。$W_2$ および $W_1$ アルゴリズムは、さまざまな分布とスパースレベルにおいて、標準的な $l_1$-最小化および $
_p$-最小化を上回る性能を示した。

ABSTRACT

Reweighted l1-algorithms have attracted a lot of attention in the field of applied mathematics. A unified framework of such algorithms has been recently proposed by Zhao and Li. In this paper we construct a few new examples of reweighted l1-methods. These functions are certain concave approximations of the l0-norm function. We focus on the numerical comparison between some new and existing reweighted l1-algorithms. We show how the change of parameters in reweighted algorithms may affect the performance of the algorithms for finding the solution of the cardinality minimization problem. In our experiments, the problem data were generated according to different statistical distributions, and we test the algorithms on different sparsity level of the solution of the problem. Our numerical results demonstrate that the reweighted l1-method is one of the efficient methods for locating the solution of the cardinality minimization problem.

研究の動機と目的

• スパース回復の性能を向上させるために、$l_0$-ノルムの凹関数近似に基づく新しい再重み付け $l_1$-アルゴリズムの開発と検証。
• 行列 $A$ の異なる問題パラメータおよび統計的分布の下での、これらの新規および既存の再重み付け $l_1$-手法の性能評価。
• $p$、$q$、および $
  $ などのパラメータが、$Ax = b$ システムにおける正確なスパース解の回復成功率に与える影響の調査。
• 再重み付け $l_1$-手法が、標準的な $l_1$-最小化および $
  _p$-最小化（$0 < p < 1$）に比べて、スパースな解を効果的に見つける能力を比較すること。

提案手法

• $l_0$-ノルムの凹関数近似として、$F_\epsilon(x) = \sum_{i=1}^n \log(|x_i| + \epsilon) + \sum_{i=1}^n (|x_i| + \epsilon)^p$ を用いた新しい再重み付け $l_1$-アルゴリズムを提案。
• 各反復で、前回の反復の解を用いて、重み $\omega_i = 1/(|x_i|^{(p)} + \epsilon)^q$ を更新する反復的再重み付けスキームを採用。
• ゼロ除算を回避するとともに、小さな成分への感度を調整するため、重み関数に固定された $\epsilon$ を使用。
• $p$ および $q$ の異なるパラメータ設定を用いた $W_1$ および $W_2$ の再重み付け戦略を適用し、$l_1$-最小化および $
  _p$-最小化と比較。
• 正規分布、一様分布、ポisson分布から生成された 100 個の行列を用いたランダム化テストフレームワークを採用（$A \in \mathbb{R}^{50 \times 200}$）、スパースレベル $k = 1$ から $26$ をテスト。
• 成功の定義を、同一の停止基準およびソルバーを用いた試行回数における正確な $k$-スパース解の回復確率として測定。

実験結果

リサーチクエスチョン

• RQ1 異なる再重み付け $l_1$-アルゴリズムは、$Ax = b$ のスパースな解の回復成功率において、どのように比較されるか？
• RQ2 パラメータ $p$、$q$、および $
  $ のチューニングが、再重み付け $l_1$-手法の性能に与える影響は何か？
• RQ3 行列 $A$ の統計的分布は、再重み付け $l_1$-アルゴリズムのスパース回復成功にどのような影響を与えるか？
• RQ4 $W_2$ および $W_1$ の再重み付け戦略は、基数最小化において、標準的な $l_1$-最小化および $
  _p$-最小化（$0 < p < 1$）を上回る性能を示せるか？
• RQ5 再重み付け $l_1$-アルゴリズムにおける数値的安定性と感度のバランスを取るために、最適な $\epsilon$ の値は何か？

主な発見

• $W_2$ の再重み付け $l_1$-アルゴリズムは、すべてのテストされた分布およびスパースレベルにおいて、$l_1$-最小化および $
  _p$-最小化を一貫して上回る性能を示した。
• $p = 0.05$ の場合、$\epsilon = 0.01$ で $W_1$ 手法は $k \leq 15$ に対して90％を超える回復成功率を達成し、標準的な $l_1$-最小化を著しく上回った。
• $\epsilon$ の選択は強い影響を持つ：$\epsilon = 0.01$ が安定性と感度の最良のバランスを提供したが、$\epsilon = 0.00001$ では数値的問題が生じ、回復成功率が低下した。
• $p = 0.4$ の場合、$q = 0.08$ で $W_2$ 手法は $k \leq 20$ において高い回復成功率（85％以上）を維持し、パラメータの変動に対しても頑健であることが示された。
• 固定された $\epsilon$ よりも Candes の重み更新ルールを用いることで性能が向上し、$k = 15$ の場合、回復成功率が最大20％上昇した。
• $p = 0.8$ の場合、$q = 0.08$ で $W_2$ 手法は $k = 15$ で95％の回復成功率を示し、高い $p$ 値でも優れた性能を発揮した。