[論文レビュー] Group Sparsity Residual Constraint for Image Denoising

Zhiyuan Zha, Xinggan Zhang+3 more|arXiv (Cornell University)|Mar 1, 2017

Image and Signal Denoising Methods参考文献 48被引用数 9

ひとこと要約

本稿では、ノイズあり画像および事前フィルタリング済み画像からの非局所的自己類似性（NSS）事前知識を組み合わせて、グループスパarsity残差を低減する新しい画像ノイズ除去手法、Group Sparsity Residual Constraint（GSRC）を提案する。事前フィルタリングにより綺麗な画像のスパース係数を推定し、反復的シェイピングアルゴリズムを用いてノイズあり画像と推定係数の残差を最小化することで、最先端のPSNRおよびSSIM性能を達成するとともに、競争力ある処理速度を実現した。

ABSTRACT

Group-based sparse representation has shown great potential in image denoising. However, most existing methods only consider the nonlocal self-similarity (NSS) prior of noisy input image. That is, the similar patches are collected only from degraded input, which makes the quality of image denoising largely depend on the input itself. However, such methods often suffer from a common drawback that the denoising performance may degrade quickly with increasing noise levels. In this paper we propose a new prior model, called group sparsity residual constraint (GSRC). Unlike the conventional group-based sparse representation denoising methods, two kinds of prior, namely, the NSS priors of noisy and pre-filtered images, are used in GSRC. In particular, we integrate these two NSS priors through the mechanism of sparsity residual, and thus, the task of image denoising is converted to the problem of reducing the group sparsity residual. To this end, we first obtain a good estimation of the group sparse coefficients of the original image by pre-filtering, and then the group sparse coefficients of the noisy image are used to approximate this estimation. To improve the accuracy of the nonlocal similar patch selection, an adaptive patch search scheme is designed. Furthermore, to fuse these two NSS prior better, an effective iterative shrinkage algorithm is developed to solve the proposed GSRC model. Experimental results demonstrate that the proposed GSRC modeling outperforms many state-of-the-art denoising methods in terms of the objective and the perceptual metrics.

研究の動機と目的

• 従来のグループベーススパース表現手法がノイズあり画像のNSS事前知識に依存しているため、高ノイズ条件下で性能が劣化するという限界を是正すること。
• 事前フィルタリングにより得られる綺麗な画像のグループスパース構造の推定を向上させるために、事前知識を統合することでノイズ除去性能を向上させること。
• ノイズあり入力の品質に依存しないようにするため、ノイズありおよび綺麗なスパース係数の差を測るグループスパarsity残差項を導入すること。
• 局所的画像コンテンツに基づいて動的に検索窓を調整する適応的パッチ探索方式により、非局所的類似パッチ選択の正確性を向上させること。
• 効率的かつ安定した収束を実現する反復的シェイピングアルゴリズムを開発し、二重のNSS事前知識を効果的に統合して、頑健なノイズ除去を実現すること。

提案手法

• ノイズあり画像のグループスパース係数と推定された綺麗な画像のグループスパース係数の差としてグループスパarsity残差（GSR）を定義し、ノイズ除去をGSR最小化問題として定式化する。
• BM3DやEPLLなどの事前フィルタリング手法を用いて、綺麗な画像のグループスパース係数の高品質な推定値を生成する。
• ノイズあり画像と事前フィルタリング済み画像の二つのNSS事前知識を、GSR機構を介して統合することで、より頑健で正確な性能を実現する。
• 局所的画像コンテンツに基づいて動的に検索窓を調整する適応的パッチ探索（APS）方式を設計し、高ノイズ環境下でも非局所的類似パッチ選択の正確性を向上させる。
• GSRC最適化問題を解く反復的シェイピングアルゴリズムを開発し、効率的かつ安定した収束を実現する。
• BM3DおよびEPLLフレームワーク内にGSRCモデルを適用し（GSRC-BM3D、GSRC-EPLL）、異なるノイズ除去パイプラインにおける性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 ノイズあり画像および事前フィルタリング済み画像からのNSS事前知識を併用することで、単一のノイズあり画像事前知識に依存する手法よりも優れたノイズ除去性能が得られるか？
• RQ2 ノイズあり画像と推定された綺麗な画像のスパース係数間のグループスパarsity残差を最小化することで、エッジの保持およびアーチファクトの抑制が向上するか？
• RQ3 適応的パッチ探索方式により、高ノイズ環境下での非局所的類似パッチ選択の正確性が顕著に向上するか？
• RQ4 提案された反復的シェイピングアルゴリズムは、高速な収束と低い計算コストを実現する上で、GSRCモデルを効果的に解けるか？
• RQ5 GSRCフレームワークは、最先端のPSNRおよびSSIMスコアを達成しながらも、競争力ある処理速度を維持できるか？

主な発見

• House画像（σ=75）において、GSRC-BM3DはPSNR 28.48 dB、SSIM 0.7992を達成し、WNNM（28.25 dB、0.7883）およびAST-NLS（28.06 dB、0.7720）を上回った。
• House画像（σ=75）において、GSRC-EPLLはPSNR 28.53 dB、SSIM 0.7998を達成し、BM3DおよびWNNMを含むすべての比較手法を上回った。
• 130066画像（σ=50）において、GSRC-BM3DはPSNR 26.69 dB、SSIM 0.7937を達成し、MS-EPLL（25.67 dB、0.7833）およびAST-NLS（26.27 dB、0.7715）を上回った。
• 223004画像（σ=100）において、GSRC-BM3DはPSNR 24.70 dB、SSIM 0.7182を達成し、NCSR（23.73 dB、0.6882）およびGID（22.66 dB、0.5997）を顕著に上回った。
• 提案された適応的パッチ探索（APS）方式は、12枚のテスト画像全体で、No-APSベースライン比平均PSNRを0.3–0.5 dB向上させた。
• GSRCは12枚の画像平均で、BM3D事前フィルタリング時が72秒、EPLL事前フィルタリング時が148秒であり、NCSR（348秒）、AST-NLS（459秒）、WNNM（202秒）を上回る処理速度効率を示した。