[論文レビュー] Image denoising using group sparsity residual and external nonlocal self-similarity prior

Zhiyuan Zha, Xinggan Zhang+3 more|arXiv (Cornell University)|Jan 3, 2017

Image and Signal Denoising Methods被引用数 7

ひとこと要約

本稿では、ガウス・ミックスチャネル・モードル（GMM）を用いて学習された外部非局所自己同一性（NSS）事前分布を活用することで、グループスパarsity残差を最小化する新しい画像ノイズ除去手法を提案する。GMMに基づくNSS事前分布を用いて、ノイズのある入力からクリアな画像のグループスパarsity係数を推定することで、リリングアーチファクトを低減し、細部の再現性を向上させ、PSNRおよび視覚的品質の両面でBM3D、EPLL、その他の最先端手法を上回る、最先端の性能を達成する。

ABSTRACT

Nonlocal image representation has been successfully used in many image-related inverse problems including denoising, deblurring and deblocking. However, a majority of reconstruction methods only exploit the nonlocal self-similarity (NSS) prior of the degraded observation image, it is very challenging to reconstruct the latent clean image. In this paper we propose a novel model for image denoising via group sparsity residual and external NSS prior. To boost the performance of image denoising, the concept of group sparsity residual is proposed, and thus the problem of image denoising is transformed into one that reduces the group sparsity residual. Due to the fact that the groups contain a large amount of NSS information of natural images, we obtain a good estimation of the group sparse coefficients of the original image by the external NSS prior based on Gaussian Mixture model (GMM) learning and the group sparse coefficients of noisy image is used to approximate the estimation. Experimental results have demonstrated that the proposed method not only outperforms many state-of-the-art methods, but also delivers the best qualitative denoising results with finer details and less ringing artifacts.

研究の動機と目的

• ノイズのある画像のNSS事前分布のみを用いて、クリアな画像を再構築する課題に対処すること。
• 最適化の目的関数としてグループスパarsity残差を導入することで、ノイズ除去性能を向上させること。
• 自然画像から学習したGMMを用いて外部NSS事前分布を活用し、元のクリア画像のグループスパarsity係数をより正確に推定すること。
• 従来のグループスパarsityに基づく手法よりも、リリングアーチファクトを低減し、細かな画像構造をより効果的に保持すること。

提案手法

• 本手法は、ノイズのある画像とその推定されたクリア画像との間のグループスパarsity残差を最小化することで、画像ノイズ除去を定式化する。
• クリアな画像パッチを用いて訓練されたガウス・ミックスチャネル・モードル（GMM）を用いて、自然画像の外部NSS事前分布を学習する。
• ノイズのある画像のグループスパarsity係数を用いて、望ましいクリア画像のグループスパarsity係数を近似し、外部GMMベースのNSS事前分布によってガイドする。
• γ-およびρ-正則化を用いた交互最小化スキームにより、繰り返しグループスパarsityコードと画像推定値を更新する。
• 類似するパッチはW×Wのサーチウィンドウを用いてグループ化され、各グループに対してm個の近隣パッチが選択され、m次元のグループを形成する。
• 最終的なノイズ除去画像は、すべての更新済みグループ推定値を統合することで再構築される。

Fig. 1 : The distribution of R , fitting Gaussian, Laplacian and hyper-Laplacian distribution for image Monarch with $\sigma=30$ in (a) and foreman with $\sigma=100$ in (b).

実験結果

リサーチクエスチョン

• RQ1 従来のスパースコーディングや正則化手法と比較して、グループスパarsity残差の最小化が、より優れた画像ノイズ除去性能をもたらすか？
• RQ2 GMMを用いてクリアな画像パッチから学習された外部NSS事前分布は、ノイズのある入力からクリア画像のグループスパarsity係数を推定する際に、どの程度効果的か？
• RQ3 自然画像のNSS構造を外部GMM学習を用いて活用することで、ノイズのある画像のNSSのみに依存する手法と比較して、リリングアーチファクトをより効果的に低減し、細かな画像ディテールをよりよく保持できるか？
• RQ4 提案手法は、PSNRおよび視覚的品質の両面で、最先端のノイズ除去技術をどの程度上回るか？

主な発見

• ノイズレベルσ = 50における平均PSNRでは、BM3Dよりも0.24 dB、EPLLよりも0.59 dB、GIDよりも1.30 dBの向上を達成した。
• σ = 100におけるPSNRは23.19 dBを達成し、aGMM（22.62 dB）、PGPD（23.03 dB）、BM3D（22.89 dB）を上回った。
• 視覚的結果から、本手法はBM3D、EPLL、NCSR、GID、LINE、PGPD、aGMMと比較して、より細かな画像ディテールを保持し、リリングアーチファクトをより効果的に抑制していることが示された。
• テストされた全14枚のKodakデータセット画像において、あらゆるノイズレベルで最高のPSNRを達成し、一貫した性能向上を示した。
• GMM学習を用いた外部NSS事前分布の活用は、グループスパarsity係数推定の精度を顕著に向上させ、優れた再構成品質を実現した。
• 広範なノイズレベルにわたり高いロバスト性を示し、ノイズレベルごとにパrameter設定を調整することで最適な性能を維持した。

Fig. 2 : All test images.