[論文レビュー] Universal Denoising Networks : A Novel CNN-based Network Architecture for Image Denoising.

Stamatios Lefkimmiatis|arXiv (Cornell University)|Nov 21, 2017

Image and Signal Denoising Methods被引用数 11

ひとこと要約

本稿では、自然画像における局所的および非局所的自己類似性を共同で活用する、2つの新しいCNNベースのノイズ除去ネットワークを提案する。1つは畳み込み層を、もう1つは非局所フィルタリング層を用いたもので、広範なノイズレベルの範囲をカバーするように一度の学習で訓練される。加法性白色ガウスノイズ（AWGN）下で、競合モデルと比較して10倍少ないパラメータで最先端の性能を達成し、ノイズ統計の不一致に対しても頑健である。

ABSTRACT

We design a novel network architecture for learning discriminative image models that are employed to efficiently tackle the problem of grayscale and color image denoising. Based on the proposed architecture, we introduce two different variants. The first network involves convolutional layers as a core component, while the second one relies instead on non-local filtering layers and thus it is able to exploit the inherent non-local self-similarity property of natural images. As opposed to most of the existing neural networks, which require the training of a specific model for each considered noise level, the proposed networks are able to handle a wide range of different noise levels, while they are very robust when the noise degrading the latent image does not match the statistics of the one used during training. The latter argument is supported by results that we report on publicly available images corrupted by unknown noise and which we compare against solutions obtained by alternative state-of-the-art methods. At the same time the introduced networks achieve excellent results under additive white Gaussian noise (AWGN), which are comparable to the current state-of-the-art network, while they depend on a more shallow architecture with the number of trained parameters being one order of magnitude smaller. These properties make the proposed networks ideal candidates to serve as sub-solvers on restoration methods that deal with general inverse imaging problems such as deblurring, demosaicking, superresolution, etc.

研究の動機と目的

• 再訓練なしに複数のノイズレベルに一般化する1つのディープラーニングモデルの開発。
• 自然画像における非局所的自己類似性を活用してノイズ除去性能を向上させること。
• 既存の最先端手法と比較して、性能を維持または向上させつつモデルの複雑さを低減すること。
• デブラーイングやスーパーレゾリューションなどの広範な逆画像処理問題における効果的なサブソルバーを構築すること。

提案手法

• 最初のバリエーションは、標準的な畳み込み層を用いて入力のノイズ画像から綺麗な画像を再構築するための局所的特徴を抽出する。
• 2番目のバリエーションでは、畳み込み層を非局所フィルタリング層に置き換えることで、画像内の長距離依存性および自己類似構造を活用する。
• 両アーキテクチャは、一般化を可能にするために多様なノイズレベルで端末から端末まで訓練される。
• ネットワークは、トレーニング可能なパラメータ数を最小限に抑えるために、浅くも効果的な構造となっている。
• 訓練中に見られなかったノイズ統計に対しても処理できるように、アーキテクチャが最適化されている。
• 合成および実世界のノイズがかかる画像（ノイズ特性が未知）に対して、モデルが評価されている。

実験結果

リサーチクエスチョン

• RQ1 再訓練なしに、広範なノイズレベルにわたる画像のノイズ除去が可能な1つのディープニューラルネットワークを学習できるか？
• RQ2 標準的な畳み込み層と比較して、非局所フィルタリング層を組み込むことで、画像ノイズ除去性能はどのように向上するか？
• RQ3 パラメータ数を減らした軽量ネットワークが、AWGN下で既存の最先端手法と同等の性能を達成できる範囲はどの程度か？
• RQ4 訓練分布とは一致しないノイズで汚された画像に対して、提案されたネットワークはどの程度頑健か？
• RQ5 このようなノイズ除去ネットワークは、デブラーイングやスーパーレゾリューションなどの広範な逆画像処理パイプラインにおける効果的なサブソルバーとして機能できるか？

主な発見

• 提案されたネットワークは、加法性白色ガウスノイズ下で最先端の性能を達成しており、既存の最良手法と同等である。
• 現在のSOTAネットワークと比較して、必要なパラメータ数がたったの10分の1にまで削減され、モデルの複雑さが顕著に低減された。
• テスト時のノイズ統計が訓練時と異なる場合でも、さまざまなノイズレベルにうまく一般化している。
• 非局所バリアントは、画像の自己類似性をより効果的に活用することで、畳み込みバリアントを上回る性能を示した。
• ノイズ特性が未知の実世界の画像に対しても、代替の最先端手法を上回る強い頑健性を示した。
• 一般化性能と効率性の両面から、デブラーイングやスーパーレゾリューションなどの逆画像処理パイプラインにおけるサブソルバーとして適している。