[論文レビュー] Robust iterative hard thresholding for compressed sensing

Esa Ollila, Hyon‐Jung Kim+1 more|arXiv (Cornell University)|May 7, 2014

Sparse and Compressive Sensing Techniques参考文献 7被引用数 6

ひとこと要約

本稿では、ハブラーM推定を用いて、重-t尾のノイズのスケールを同時に推定する、ロバストな反復的ハードスレッショルドイング（RIHT）手法を提案する。ガウス分布ノイズ下では近似的最適性能を達成し、非ガウス的で重-t尾的、または外れ値に敏感なノイズ条件下では、標準的IHTおよびLIHTを著しく上回る性能を発揮する。

ABSTRACT

Compressed sensing (CS) or sparse signal reconstruction (SSR) is a signal processing technique that exploits the fact that acquired data can have a sparse representation in some basis. One popular technique to reconstruct or approximate the unknown sparse signal is the iterative hard thresholding (IHT) which however performs very poorly under non-Gaussian noise conditions or in the face of outliers (gross errors). In this paper, we propose a robust IHT method based on ideas from $M$-estimation that estimates the sparse signal and the scale of the error distribution simultaneously. The method has a negligible performance loss compared to IHT under Gaussian noise, but superior performance under heavy-tailed non-Gaussian noise conditions.

研究の動機と目的

• 非ガウス的または重-t尾的ノイズ条件下で標準的反復的ハードスレッショルドイング（IHT）の性能劣化を是正すること。
• 従来のロバストIHT手法が事前スケール推定を必要としているという制限を克服し、信号とスケールの同時推定を可能にすること。
• 外れ値や重-t尾的誤差分布が存在する状況でも高い精度を維持できるロバストなスパース信号再構成アルゴリズムの開発。
• ガウス分布ノイズ下ではIHTと比較して最小限の性能低下を確保しつつ、重-t尾的ノイズ下でのロバスト性を著しく向上させること。
• 実用的状況におけるインパルス的ノイズを伴うスパース信号再構成に対して、計算効率が高く安定した手法の提供。

提案手法

• 標準的最小二乗損失の代わりに、大きな残差を軽減するロバストな損失関数を用いるハブラーM推定を採用する。
• 反復的最適化フレームワークを用いて、スパース信号ベクトル $\mathbf{x}$ と誤差分布のスケールパラメータ $\sigma$ を同時に推定する。
• ハブラー損失から導出されるスコア関数 $\psi$ を用いて、IHTアルゴリズムにおけるロバスト勾配更新を計算する。
• 各反復でハードスレッショルドを適用し、スパarsityを維持することで、解が $K$-スパースのまま保たれるようにする。
• ハブラー損失関数にトリミング閾値 $c$ を適用し、実験では $c_1 = 1.345$ および $c_2 = 0.732$ を用いてロバスト性と効率性のバランスを図る。
• 最適化をハブラー正則化された目的関数の最小化として定式化する：$\sum_{i=1}^M \rho\left(\frac{y_i - \boldsymbol{\phi}_i^T \mathbf{x}}{\hat{\sigma}}\right)$、ここで $\rho$ はハブラー損失である。

実験結果

リサーチクエスチョン

• RQ1 事前スケール推定を必要とせず、信号とノイズスケールを同時に推定できるロバストなIHT手法を設計可能か？
• RQ2 提案手法（ハブラーに基づくIHT）は、重-t尾的ノイズ（例：スチューデントのt分布）下で、標準的IHTおよびLIHTと比較してどのように性能を発揮するか？
• RQ3 ガウス分布ノイズ下で、提案手法とIHTとの間の性能ギャップはどの程度か？
• RQ4 異なるハブラートリミング閾値（$c_1$, $c_2$）がロバスト性および再構成精度に与える影響は？
• RQ5 低SNRおよび重-t尾的ノイズ下で、本手法は正確な再構成確率（PER）をどの程度高い確率で維持できるか？

主な発見

• $c_2 = 0.732$ を用いた提案手法のハブラーIHT（HIHT）は、カウチ分布（ν=1）下で40 dB SNRで100％の正確な再構成確率（PER）を達成するが、IHTおよびLIHTは低SNRで完全に失敗する。
• 20 dB SNR、$t_\nu$ ノイズ下で、HIHT-$c_2$ はPERが0.82を維持するが、IHTおよびLIHTはそれぞれ0.70および0.24に低下する。
• ガウス分布ノイズ下では、HIHT-$c_1$ は標準的IHTと比較してMSEでわずか0.2 dBの性能低下にとどまり、理想的な条件下での劣化はほとんどない。
• ラプラス分布ノイズ下では、HIHT-$c_2$ が最も優れたMSE性能を発揮し、IHTより平均1.9 dBのSNR向上を達成し、20 dB SNRでは2.5 dBの向上を示す。
• 40 dB SNR下で、すべての自由度 $\nu \in [1,5]$ に対して、HIHTはMSEが約-6.5 dBで安定しているが、IHTのMSEは $\nu$ が低下するにつれて急激に劣化する。
• LIHTはガウス分布ノイズ下で収束問題を経験し、低SNR下でも性能が著しく劣るため、本手法の同時推定の優位性が顕著に示される。