[論文レビュー] Multi-channel Weighted Nuclear Norm Minimization for Real Color Image Denoising

Jun Xu, Lei Zhang+2 more|arXiv (Cornell University)|May 28, 2017

Image and Signal Denoising Methods参考文献 28被引用数 39

ひとこと要約

本稿では、R、G、Bチャンネルのノイズ分散の違いに適応するチャンネル固有の重み行列を用いて、チャンネル間の冗長性を統合的に活用する、実カラーディスプレイ用の新しいフレームワークであるマルチチャネル重み付き核ノルム最小化（MC-WNNM）を提案する。この手法は、ADMMを用いて閉形式の更新が可能な線形等式制約付き最適化問題として定式化され、合成および実際のノイズ画像データセットの両方で最先端のPSNR性能を達成しており、従来のWNNM手法よりも平均1.94 dBの向上を実現している。

ABSTRACT

Most of the existing denoising algorithms are developed for grayscale images, while it is not a trivial work to extend them for color image denoising because the noise statistics in R, G, B channels can be very different for real noisy images. In this paper, we propose a multi-channel (MC) optimization model for real color image denoising under the weighted nuclear norm minimization (WNNM) framework. We concatenate the RGB patches to make use of the channel redundancy, and introduce a weight matrix to balance the data fidelity of the three channels in consideration of their different noise statistics. The proposed MC-WNNM model does not have an analytical solution. We reformulate it into a linear equality-constrained problem and solve it with the alternating direction method of multipliers. Each alternative updating step has closed-form solution and the convergence can be guaranteed. Extensive experiments on both synthetic and real noisy image datasets demonstrate the superiority of the proposed MC-WNNM over state-of-the-art denoising methods.

研究の動機と目的

• カメラセンサーおよびパイプラインの特性に起因し、R、G、Bチャンネルのノイズ分散が異なる実カラーディスプレイノイズ除去の課題に対処すること。
• すべてのカラーチャンネルを同一に扱う従来の手法の限界を克服し、色収差や最適でないノイズ除去を引き起こすのを防ぐこと。
• チャンネル間の冗長性を統合的低ランクモデリングフレームワークを用いて活用しつつ、チャンネル固有のノイズ統計を保持すること。
• 閉形式解が得られない非自明なマルチチャネルノイズ除去モデルに対して、スケーラブルで収束保証のある最適化戦略を開発すること。

提案手法

• 空間的およびスペクトル的冗長性を活用するため、RGBパッチを1つの行列に連結する。
• 各チャンネルの個々のノイズ分散に基づいて、データ適合項に対角行列の重みを導入し、R、G、Bチャンネルの寄与度をバランスさせる。
• MC-WNNMモデルを線形等式制約付き最適化問題として定式化し、収束保証のあるADMMによる解法を可能にする。
• 交替方向乗数法（ADMM）を適用して、各変数に対して閉形式解が得られる部分問題に問題を分解する。
• 重み付き核ノルムによる一般化ソフトスレッショングを用いて、連結されたRGBパッチ行列の低ランク構造を促進する。
• チャンネル固有のノイズレベル推定値を重み行列に統合し、各チャンネルごとに正則化強度を適応的に制御する。

実験結果

リサーチクエスチョン

• RQ1 R、G、Bチャンネル間の異なるノイズ統計を考慮しつつ、RGB画像のチャンネル間冗長性を効果的に活用する方法は何か？
• RQ2 単一チャンネルWNNMに比べ、マルチチャンネルカラーディスプレイに拡張可能な重み付き核ノルム最小化フレームワークは、ノイズ除去性能の向上に寄与するか？
• RQ3 非凸的かつ解析的解が得られないMC-WNNMモデルの効率的かつ収束保証のある最適化戦略は何か？
• RQ4 提案手法MC-WNNMは、実際のノイズ画像における最先端のグレースケールおよびカラーノイズ除去アルゴリズムよりも優れたノイズ除去性能を達成するか？
• RQ5 すべてのチャンネルを同一に扱う手法や固定色変換を用いる手法と比較して、本手法は視覚的品質およびPSNRで優れているか？

主な発見

• 実ノイズ画像データセット [19] において、MC-WNNMは平均37.71 dBのPSNRを達成し、次に優れた手法（WNNM-2：36.88 dB）を0.83 dB以上上回った。
• 15枚の実ノイズ画像の平均では、MC-WNNMはWNNM-2に対して1.94 dB、WNNM-3に対して0.44 dB、WNNM-1に対して0.59 dBのPSNR向上を達成した。
• 実データセットの15枚中10枚でMC-WNNMが最高のPSNRを記録し、さまざまなカメラ機種およびISO設定において一貫した優位性を示した。
• 視覚的結果から、MC-WNNMは色収差を最小限に抑え、クリアな画像を生成した一方、WNNM-2およびWNNM-3はチャンネルを同一に扱うため顕著な色収差を発生させた。
• ニコンD800 ISO=1600画像ではPSNRが41.43 dBに達し、TNRD（40.52 dB）、WNNM-2（41.24 dB）、WNNM-3（40.81 dB）を上回り、実世界のノイズに強い性能を示した。
• 平均202.9秒の処理時間と長めではあるが、MC-WNNMは最先端の結果を達成しており、ノイズ除去品質の大幅な向上が、処理速度の犠牲を正当化していることが示された。