[論文レビュー] Designing and Training of A Dual CNN for Image Denoising

Chunwei Tian, Yong Xu+4 more|arXiv (Cornell University)|Jul 8, 2020

Image and Signal Denoising Methods参考文献 51被引用数 9

ひとこと要約

本稿では、グローバルおよびローカル特徴を抽出するスパース機構を備えた二重畳み込みニューラルネットワーク、DudeNetを提案する。特徴の統合を多段階アーキテクチャ（特徴抽出、強化、圧縮、再構成ブロックを含む）によって実現することで、合成、ブラインド、実世界のノイズ画像において、低い計算コストで最先端の性能を達成する。

ABSTRACT

Deep convolutional neural networks (CNNs) for image denoising have recently attracted increasing research interest. However, plain networks cannot recover fine details for a complex task, such as real noisy images. In this paper, we propsoed a Dual denoising Network (DudeNet) to recover a clean image. Specifically, DudeNet consists of four modules: a feature extraction block, an enhancement block, a compression block, and a reconstruction block. The feature extraction block with a sparse machanism extracts global and local features via two sub-networks. The enhancement block gathers and fuses the global and local features to provide complementary information for the latter network. The compression block refines the extracted information and compresses the network. Finally, the reconstruction block is utilized to reconstruct a denoised image. The DudeNet has the following advantages: (1) The dual networks with a parse mechanism can extract complementary features to enhance the generalized ability of denoiser. (2) Fusing global and local features can extract salient features to recover fine details for complex noisy images. (3) A Small-size filter is used to reduce the complexity of denoiser. Extensive experiments demonstrate the superiority of DudeNet over existing current state-of-the-art denoising methods.

研究の動機と目的

• 複雑な実世界のノイズ画像からの微細なディテール回復における、シンプルなCNNの限界を解消する。
• 手作業で設計された事前知識に依存するか、特定のノイズレベルに限定された先行手法の欠点を克服する。
• ブラインドノイズ除去および実際のノイズ画像修復における汎化性とロバスト性を向上させる。
• 小サイズのフィルタと圧縮ブロックを用いることで、計算複雑性を低減しながら高いノイズ除去性能を維持する。
• グローバルおよびローカル特徴を効果的に統合する統一アーキテクチャを開発し、詳細な復元を強化する。

提案手法

• ノイズ画像からグローバルおよびローカル特徴を抽出するために、スパース機構を備えた二重ネットワークアーキテクチャを採用する。
• 多様な特徴表現を捉えるために、2つのサブネットワークを用いた特徴抽出ブロック（FEB）を採用する。
• グローバルおよびローカル特徴を補完的情報として統合するために、二段階のメカニズムを持つ強化ブロック（EB）を適用する。
• 不要な特徴を効率的に抽出・低減することで、モデルの複雑性を低下させるために圧縮ブロック（CB）を導入する。
• 残差入力とノイズ入力を用いて、最終的な綺麗な画像を再構成する再構成ブロック（RB）を用いる。
• パrameter数と計算コストを削減しながら性能に影響を与えないように、小サイズのフィルタ（例：3×3）を採用する。

実験結果

リサーチクエスチョン

• RQ1 スパース特徴抽出を備えた二重CNNは、実世界ノイズやブラインドノイズ除去といった複雑なノイズ除去タスクにおける汎化性を向上させることができるか？
• RQ2 グローバルおよびローカル特徴の統合は、ノイズのある画像における微細なディテール回復をどのように向上させるか？
• RQ3 小サイズのフィルタと圧縮ブロックを用いることで、計算コストをどの程度低減できるか、かつ高いノイズ除去精度を維持できるか？
• RQ4 さまざまなノイズタイプにおいて、PSNRとインフェレンス速度の観点から、DudeNetは最先端手法と比較してどのように差をつけるか？
• RQ5 提案されたアーキテクチャは、合成、ブラインド、実際のノイズ画像データセットのすべてに一般化可能か？

主な発見

• Canon 5D ISO=3200の実際のノイズ画像において、DudeNetは36.66 dBのPSNRを達成し、DnCNNを1.86 dB上回る。
• CBSD68データセットにおいて、DudeNet-Bは全ノイズレベル（15–75）で競争力のある結果を示し、PSNR値が常に最先端水準に近いかそれを上回る。
• 1024×1024の画像において、DudeNetはGPU上で1.246秒で処理が可能であり、RED30（15.77s）やMemNet（14.69s）よりも顕著に高速である。
• Kodak24のISO=3200において、DudeNet-Bは36.70 dBのPSNRを達成し、DnCNN（34.87 dB）およびCSF（35.16 dB）を上回る。
• ブラインドノイズ除去においても、0〜55のさまざまなノイズレベルで一貫した性能を示す。
• 小サイズのフィルタと圧縮ブロックの使用により、計算コストを低減しながらも、高い視覚的品質と正確性を維持している。