[論文レビュー] DCANet: Dual Convolutional Neural Network with Attention for Image Blind Denoising

Wencong Wu, Guannan Lv+4 more|arXiv (Cornell University)|Apr 4, 2023

Image and Signal Denoising Methods被引用数 4

ひとこと要約

本稿では、画像のブレンドノイズ除去のための空間的・チャネル的アテンションモジュールを備えた新規なデュアル畳み込みニューラルネットワーク、DCANetを提案する。ノイズ推定ネットワーク、相補的特徴学習を目的としたデュアルブランチCNN、およびアテンションメカニズムを統合することで、現実のノイズを効果的に抑制し、パラメータ数と性能のトレードオフに優れた最先端の性能を達成する。

ABSTRACT

Noise removal of images is an essential preprocessing procedure for many computer vision tasks. Currently, many denoising models based on deep neural networks can perform well in removing the noise with known distributions (i.e. the additive Gaussian white noise). However eliminating real noise is still a very challenging task, since real-world noise often does not simply follow one single type of distribution, and the noise may spatially vary. In this paper, we present a new dual convolutional neural network (CNN) with attention for image blind denoising, named as the DCANet. To the best of our knowledge, the proposed DCANet is the first work that integrates both the dual CNN and attention mechanism for image denoising. The DCANet is composed of a noise estimation network, a spatial and channel attention module (SCAM), and a CNN with a dual structure. The noise estimation network is utilized to estimate the spatial distribution and the noise level in an image. The noisy image and its estimated noise are combined as the input of the SCAM, and a dual CNN contains two different branches is designed to learn the complementary features to obtain the denoised image. The experimental results have verified that the proposed DCANet can suppress both synthetic and real noise effectively. The code of DCANet is available at https://github.com/WenCongWu/DCANet.

研究の動機と目的

• ノイズ分布とレベルが未知で空間的に変動する現実の画像ノイズ除去の課題に対処すること。
• 特定のノイズタイプやレベルに特化して訓練された従来のDNNベースのモデルが、実用的状況において柔軟性に欠けるという限界を克服すること。
• デュアルCNNブランチと空間的・チャネル的アテンションメカニズムを統合し、特徴学習とノイズ抑制を強化すること。
• 実用的導入に適した、モデルの複雑さとノイズ除去性能のバランスを図ること。
• 手動チューニングなしに、ノイズ分布とレベルをエンドツーエンドで推定する完全なブラインドノイズ除去モデルを開発すること。

提案手法

• 入力のノイズ画像から空間的ノイズ分布とノイズレベルを予測するノイズ推定ネットワークを採用する。
• ノイズ画像と推定ノイズを処理する空間的・チャネル的アテンションモジュール（SCAM）を設計し、関連する特徴を強調し、不必要な特徴を抑制する。
• 同じ入力から補完的特徴を学習する2つの異なるブランチを持つデュアル畳み込みノイズ除去ネットワークを実装し、表現能力を向上させる。
• ノイズ画像と推定ノイズをSCAMに供給し、その後、SCAMがデュアルCNNをガイドしてクリアな画像を再構築する。
• 構造的およびテクスチャ的詳細を保持するために、知覚損失とL1損失を用いて、ネットワーク全体をエンドツーエンドで訓練する。
• スキップ接続とリーマンド学習を活用し、訓練の安定性を高め、特徴の伝搬を改善する。

実験結果

リサーチクエスチョン

• RQ1 アテンション機構を備えたデュアルブランチCNNは、単一ブランチモデルと比較して、ブラインド画像ノイズ除去性能を向上させることができるか？
• RQ2 ノイズ推定ネットワークとアテンション、デュアルブランチ学習を統合することで、現実のノイズに対してより優れた一般化性能が得られるか？
• RQ3 DCANetは、合成ノイズおよび現実ノイズにおいて、PSNR、SSIM、およびFLOPsの観点でSOTAモデルと比較してどのように評価されるか？
• RQ4 提案されたアーキテクチャは、モデルの複雑さとノイズ除去精度の間で、望ましいトレードオフを達成できるか？
• RQ5 アテンション機構は、ブラインドノイズ除去の文脈において、ノイズを効果的にフィルタリングしながら画像の詳細を保持するのに有効であるか？

主な発見

• DCANetは、合成ノイズおよび現実ノイズデータセットの両方で、FFDNet、BUIFD、ADNetを含む複数のSOTAモデルを上回る競争力のあるPSNRおよびSSIMスコアを達成した。
• NTIRE2020の実ノイズベンチマークにおいて、DCANetはカラー画像で0.258 dB、グレースケール画像で0.252 dBのPSNRを達成し、強力なロバストネスを示した。
• パラメータ数がわずか138万9000個であるにもかかわらず、AirNet（8.9Kパラメータ）やVDN（7.8Kパラメータ）といった、はるかに多くのパラメータを有するモデルと同等またはそれ以上の性能を達成した。
• アブレーションスタディの結果、デュアルブランチ構造とアテンション機構の両方が性能向上に顕著な寄与をしていることが確認され、併用した場合が最も優れた結果をもたらした。
• エンドツーエンドでのノイズ推定と適応的特徴学習のおかげで、異なるノイズレベルやノイズタイプ、特に空間的に変動するノイズに対しても、良好な一般化性能を示した。
• DCANetのFLOPs（37.88 G）は中程度であり、効率的な推論を示しており、相対的に低い計算コストで高い性能を維持している。