[論文レビュー] A Trilateral Weighted Sparse Coding Scheme for Real-World Image Denoising

Jun Xu, Lei Zhang+1 more|arXiv (Cornell University)|Jul 11, 2018

Image and Signal Denoising Methods被引用数 19

ひとこと要約

本稿では、複数のチャネルおよび局所的パッチをまたがる複雑で信号依存性の強いノイズをモデル化するため、実世界の画像ノイズ除去に向けた三重重み付きスパースコーディング（TWSC）方式を提案する。データ適合項におけるノイズ統計とスパース性のための2つの重み行列に加え、画像のスパarsityを促進する1つの重み行列をスパースコーディングフレームワークに組み込むことで、最先端の手法を上回るノイズ除去性能を達成し、DNDデータセットにおいてPSNR 37.94 dB、SSIM 0.9403を達成した。

ABSTRACT

Most of existing image denoising methods assume the corrupted noise to be additive white Gaussian noise (AWGN). However, the realistic noise in real-world noisy images is much more complex than AWGN, and is hard to be modelled by simple analytical distributions. As a result, many state-of-the-art denoising methods in literature become much less effective when applied to real-world noisy images captured by CCD or CMOS cameras. In this paper, we develop a trilateral weighted sparse coding (TWSC) scheme for robust real-world image denoising. Specifically, we introduce three weight matrices into the data and regularisation terms of the sparse coding framework to characterise the statistics of realistic noise and image priors. TWSC can be reformulated as a linear equality-constrained problem and can be solved by the alternating direction method of multipliers. The existence and uniqueness of the solution and convergence of the proposed algorithm are analysed. Extensive experiments demonstrate that the proposed TWSC scheme outperforms state-of-the-art denoising methods on removing realistic noise.

研究の動機と目的

• 信号依存性で、パッチや色チャネルごとに変化するノイズを有する実世界の画像ノイズ除去の課題に対処すること。
• 実世界の画像における不均一なノイズ統計を適応的にモデル化するスパースコーディングフレームワークの開発。
• スパースコーディング最適化にチャネル別およびパッチ別ノイズ変動を組み込むことで、画像ノイズ除去性能の向上。
• ADMMを用いた整合的な最適化フレームワークにより、ロバスト性と収束性を確保すること。
• 実世界のノイズ画像データセットにおいて、既存の最先端手法を上回ること。

提案手法

• TWSCフレームワークは、三つの対角行列重み行列を導入する：データ適合項におけるパッチごとのノイズ分散を表すW₁、チャネル固有のノイズ適合を表すW₂、正則化項におけるスパarsityを促進するためのW₃。
• ノイズ除去問題は、交替方向乗数法（ADMM）を用いて解ける線形等式制約付き最適化問題として定式化される。
• 各ADMM反復でスレッター方程式を解く必要があり、解の存在および一意性について理論的保証が与えられる。
• 重み行列は反復的に学習される：W₁は局所的ノイズ分散を反映し、W₂はパッチごとのノイズレベルの変動に適応し、W₃は画像構造の事前知識を符号化する。
• 非一様で不均一なノイズを有する実世界の画像、特にマルチチャネルおよびパッチごとに変化する状況を効果的に処理できるように設計されている。
• 本フレームワークは、各画像の真値を必要とせず、画像パッチからのノイズ統計を活用して、実画像に対してエンドツーエンドで訓練される。

実験結果

リサーチクエスチョン

• RQ1 スパースコーディングは、実世界の画像における複雑で非ガウス的、信号依存性の強いノイズをどのように拡張してモデル化できるか？
• RQ2 局所的およびチャネル別ノイズ変動を捉えることで、適応的重み行列がノイズ除去性能を向上させられるか？
• RQ3 ノイズ、スパarsity、構造の複数の重み付けメカニズムの統合は、ノイズ除去のロバスト性をどのように向上させるか？
• RQ4 提案されたADMMベースの最適化スキームの収束特性と解の安定性はいかがなものか？
• RQ5 提案されたTWSC手法は、実世界のノイズ画像ベンチマークにおいて、既存の最先端手法を上回る性能を示すか？

主な発見

• 提案されたTWSC手法は、DNDデータセットにおいてPSNR 37.94 dB、SSIM 0.9403を達成し、比較されたすべての手法（CBM3D、TNRD、DnCNN、NC）を上回った。
• DNDデータセットにおいて、TWSCは2番目に優れた手法（NC）をPSNRで0.57 dB、SSIMで0.0209上回った。
• 視覚的比較では、特に高ノイズ領域やテクスチャ領域で、よりクリアでアーチファクトの少ない結果が得られた。
• 重み行列W₁は局所的ノイズ分散を効果的に捉えており、実世界の画像ではパッチごとに顕著に変動するが、合成されたAWGN画像では比較的均一である。
• 重み行列W₂は最適化中に動的に適応し、パッチごとのノイズレベルを反映しており、実世界の画像では合成画像よりもより変動が大きい。
• 処理時間が長め（1枚あたり512×512画像で195.2秒）であるが、複雑なノイズをモデル化する有効性を示しており、優れた性能を達成している。