[論文レビュー] Dilated Deep Residual Network for Image Denoising

Tianyang Wang, Mingxuan Sun+1 more|arXiv (Cornell University)|Aug 18, 2017

Image and Signal Denoising Methods参考文献 6被引用数 17

ひとこと要約

本稿では、拡張された受容 field を実現するための拡張畳み込みを用いた、ガウスノイズ除去を目的とした残差学習型畳み込みニューラルネットワークを提案する。この手法により、ネットワークの深さを増さずにパrameter数を減らし、計算コストを低減しつつ、最先端の性能を達成している。本手法は残差学習と受容 field の大きさを計算するための数学的式を活用し、ネットワークの深さを増さずに効率的な特徴抽出を可能としている。

ABSTRACT

Variations of deep neural networks such as convolutional neural network (CNN) have been successfully applied to image denoising. The goal is to automatically learn a mapping from a noisy image to a clean image given training data consisting of pairs of noisy and clean images. Most existing CNN models for image denoising have many layers. In such cases, the models involve a large amount of parameters and are computationally expensive to train. In this paper, we develop a dilated residual CNN for Gaussian image denoising. Compared with the recently proposed residual denoiser, our method can achieve comparable performance with less computational cost. Specifically, we enlarge receptive field by adopting dilated convolution in residual network, and the dilation factor is set to a certain value. We utilize appropriate zero padding to make the dimension of the output the same as the input. It has been proven that the expansion of receptive field can boost the CNN performance in image classification, and we further demonstrate that it can also lead to competitive performance for denoising problem. Moreover, we present a formula to calculate receptive field size when dilated convolution is incorporated. Thus, the change of receptive field can be interpreted mathematically. To validate the efficacy of our approach, we conduct extensive experiments for both gray and color image denoising with specific or randomized noise levels. Both of the quantitative measurements and the visual results of denoising are promising comparing with state-of-the-art baselines.

研究の動機と目的

• 深くないCNNベースの画像ノイズ除去における計算コストを低減しつつ、高い性能を維持すること。
• 拡張畳み込みが画像ノイズ除去タスクにおける受容 field の拡大に有効であるかを検証すること。
• 拡張畳み込みCNNにおける受容 field の大きさを数学的に解釈可能な方法で計算する手法を開発すること。
• DnCNNのような深いモデルと同等の性能を達成できる、浅いネットワークに拡張畳み込みを適用した場合の有効性を示すこと。
• グレースケールおよびカラー画像において、特定のノイズレベルとランダムなノイズレベルの両方で、手法の有効性を検証すること。

提案手法

• モデルは、ノイズあり画像と綺麗な画像の間の残差マッピングを学習する残差学習フレームワークを採用している。
• ネットワークの深さを増さずに受容 field を拡大するために、固定された拡張率（例：2）を用いた拡張畳み込みを採用している。
• 各拡張畳み込みの後にバッチ正規化（BN）とReLUを適用し、学習の安定化と非線形性の導入を図っている。
• 入力と出力の空間的次元を同じに保つためにゼロパディングを用いており、残差接続との整合性を確保している。
• 拡張畳み込みが用いられる状況における受容 field の大きさを解析的に計算するための新しい数式を導出している。
• ネットワークは、ペアドノイズ-クリーン画像データセット上でエンドツーエンドに学習され、グレースケールおよびカラー画像の両方でBSD68を用いて評価されている。

実験結果

リサーチクエスチョン

• RQ1 残差学習型CNNにおいて、ネットワークの深さを増さずに、拡張畳み込みが受容 field を効果的に拡大できるか。
• RQ2 浅いネットワークに拡張畳み込みを適用した場合、DnCNNのような深いモデルと同等のノイズ除去性能を達成できるか。
• RQ3 受容 field の大きさがノイズ除去性能に与える影響は何か。また、拡張畳み込みCNNにおいてその影響を数学的に定量化できるか。
• RQ4 パrameter数と推論コストを削減しながらも、高い性能を維持できるか。
• RQ5 グレースケールおよびカラー画像において、特定のノイズレベルとランダムなノイズレベルの両方で、モデルの性能はどのようになるか。

主な発見

• グレースケール画像データセットBSD68においてσ=15の条件下で、本手法は31.68 dBのPSNRを達成し、BM3D（31.08 dB）を上回り、DnCNN（31.73 dB）と同等の性能を示した。
• σ=25の条件下でグレースケール画像に対しては29.18 dBのPSNRを達成し、層数が少ないにもかかわらずDnCNN（29.23 dB）と同等の性能を示した。
• カラー画像においてσ=50の条件下で27.93 dBのPSNRを達成し、CBM3D（27.37 dB）を上回り、DnCNN（28.01 dB）に近い性能を示した。
• パrameter数が少なく、浅いアーキテクチャであるため、DnCNNと比較して著しく短い訓練時間と少ないグラフィックスメモリを要した。
• 視覚的評価では、他のベースラインと比較して、綺麗な画像に近い出力が得られており、微細なディテールの保持が優れていた。
• 拡張畳み込みCNNにおける受容 field の大きさを計算するための数学的式により、ネットワーク容量の明確な解釈と設計が可能になった。