[論文レビュー] New explicit thresholding/shrinkage formulas for one class of regularization problems with overlapping group sparsity and their applications

Gang Liu, Ting‐Zhu Huang+2 more|arXiv (Cornell University)|Dec 24, 2013

Sparse and Compressive Sensing Techniques参考文献 30被引用数 3

ひとこと要約

本稿では、並進不変な重複グループを有する重複グループスパarsity（OGS）正則化問題のための新しい明示的しきい値設定／収縮公式を提案し、交替方向乗数法（ADMM）を用いた効率的な解法を可能にする。主な貢献は、反復的マジョライゼーション最小化を回避する閉形式の収縮解であり、全変動に基づく画像のぼかし除去およびノイズ除去において、計算効率を著しく向上させつつ高い精度を維持している。

ABSTRACT

The least-square regression problems or inverse problems have been widely studied in many fields such as compressive sensing, signal processing, and image processing. To solve this kind of ill-posed problems, a regularization term (i.e., regularizer) should be introduced, under the assumption that the solutions have some specific properties, such as sparsity and group sparsity. Widely used regularizers include the $\ell_1$ norm, total variation (TV) semi-norm, and so on. Recently, a new regularization term with overlapping group sparsity has been considered. Majorization minimization iteration method or variable duplication methods are often applied to solve them. However, there have been no direct methods for solve the relevant problems because of the difficulty of overlapping. In this paper, we proposed new explicit shrinkage formulas for one class of these relevant problems, whose regularization terms have translation invariant overlapping groups. Moreover, we apply our results in TV deblurring and denoising with overlapping group sparsity. We use alternating direction method of multipliers to iterate solve it. Numerical results also verify the validity and effectiveness of our new explicit shrinkage formulas.

研究の動機と目的

• 重複グループスパarsity（OGS）正則化問題に対する従来の手法が反復的マジョライゼーション最小化や変数の複製に依存する計算上の非効率性を是正すること。
• 並進不変な重複グループを有するOGS正則化問題の特定のクラスに対して、閉形式のしきい値設定／収縮公式を開発すること。
• これらの公式を全変動（TV）に基づく画像のぼかし除去およびノイズ除去に適用し、速度と解の品質の両方を向上させること。
• L1およびL2忠実度項の両方において、提案されたADMMベースのアルゴリズムの収束保証を確立すること。
• 異なるノイズレベルおよびぼかし条件の下で、提案手法のロバスト性と広いパrameter範囲を実証すること。

提案手法

• 並進不変な重複グループを有するOGS正則化から生じる最適化部分問題のための明示的収縮公式を提案する。
• 重複グループノルムの存在下でのソフトしきい値設定に類似した操作に対して、閉形式の解を導出する。これにより、内側ループの反復処理を回避する。
• 交替方向乗数法（ADMM）を用いて全体の最適化問題を解き、導出された明示的公式を活用して高速な更新を実現する。
• 画像のぼかし除去およびノイズ除去に適応するため、非等方的（ATV）および等方的（ITV）TVモデルの両方へ拡張する。
• 翻訳不変性を維持し、解析的取り扱いを可能にするために、グループ間で同一の重みを有する重み付き一般化ℓ2,1-ノルム正則化を採用する。
• 収束を加速し、反復を安定化させるために、ADMMにおける緩和パrameter（γ = 1.618）を用いる。

実験結果

リサーチクエスチョン

• RQ1 並進不変な重複グループを有するOGS正則化問題のクラスに対して、明示的収縮公式を導出可能か？
• RQ2 これらの公式は、反復的部分問題ソルバーを必要とせずに、ADMMフレームワークに効率的に統合可能か？
• RQ3 提案手法のPSNR、再構成誤差、計算時間の観点から、従来手法と比較して性能に差はあるか？
• RQ4 提案手法は、ノイズレベルやぼかし条件の変化に対してもロバスト性を示すか？
• RQ5 本フレームワークは、重複グループスパarsityを有する非等方的および等方的TVモデルへ拡張可能か？

主な発見

• 提案された明示的収縮公式により、内側ループの反復的ソルバーの必要性が排除され、ADMM反復ごとの計算コストが従来のTV手法とほぼ同等にまで低下する。
• 塩こしょうノイズ30%の条件下で、提案手法のCATVOGSL1およびCITVOGSL1は、画像(d)に対してそれぞれ32.30 dBおよび32.08 dBのPSNRを達成し、Chan [6]を上回り、Liu [24]と同等のPSNRを達成しながらも、より高速である。
• パrameter選択においてロバスト性を示し、異なるノイズレベル（30%、40%、50%）および画像タイプにおいて一貫した性能を発揮する。
• 数値結果から、提案手法のATVおよびITVバージョンは、内側MM反復を用いるLiu [24]と同等またはそれ以上のPSNRおよび再構成誤差を達成している。
• 新しい収縮公式を用いたADMMベースのアルゴリズムは信頼性高く収束し、L1およびL2忠実度モデルの両方において収束保証が確立されている。
• 図6の視覚的結果から、提案手法はChan [6]よりも細かなエッジ（例：手すり、窓）をよりよく保持しており、Liu [24]と同等のエッジ回復性能を示している。