[論文レビュー] Dual Residual Attention Network for Image Denoising

Wencong Wu, Shijie Liu+3 more|arXiv (Cornell University)|May 7, 2023

Image and Signal Denoising Methods被引用数 5

ひとこと要約

本稿では、画像のノイズ除去のためのデュアルリーマンスアテンションネットワーク（DRANet）を提案する。このネットワークは、二つの並列ブランチ——一つはリーマンスアテンションブロック（RABs）を用い、もう一つはハイブリッド拡張リーマンスアテンションブロック（HDRABs）を用いる——を備え、補完的な局所的およびグローバル特徴を捉える。スキップ接続、アテンションベースの特徴フィルタリング、拡張畳み込みを統合することで、DRANetはパrameter数を少なく抑えつつ、合成ノイズおよび実世界ノイズの両方で最先端の性能を達成し、競争力のある推論速度を実現した。

ABSTRACT

In image denoising, deep convolutional neural networks (CNNs) can obtain favorable performance on removing spatially invariant noise. However, many of these networks cannot perform well on removing the real noise (i.e. spatially variant noise) generated during image acquisition or transmission, which severely sets back their application in practical image denoising tasks. Instead of continuously increasing the network depth, many researchers have revealed that expanding the width of networks can also be a useful way to improve model performance. It also has been verified that feature filtering can promote the learning ability of the models. Therefore, in this paper, we propose a novel Dual-branch Residual Attention Network (DRANet) for image denoising, which has both the merits of a wide model architecture and attention-guided feature learning. The proposed DRANet includes two different parallel branches, which can capture complementary features to enhance the learning ability of the model. We designed a new residual attention block (RAB) and a novel hybrid dilated residual attention block (HDRAB) for the upper and the lower branches, respectively. The RAB and HDRAB can capture rich local features through multiple skip connections between different convolutional layers, and the unimportant features are dropped by the residual attention modules. Meanwhile, the long skip connections in each branch, and the global feature fusion between the two parallel branches can capture the global features as well. Moreover, the proposed DRANet uses downsampling operations and dilated convolutions to increase the size of the receptive field, which can enable DRANet to capture more image context information. Extensive experiments demonstrate that compared with other state-of-the-art denoising methods, our DRANet can produce competitive denoising performance both on synthetic and real-world noise removal.

研究の動機と目的

• 実世界の空間的に変化するノイズを処理する能力に制限を受ける既存の深層畳み込みニューラルネットワーク（CNN）の課題に対処する。
• ネットワークの深さを単に増やすのではなく、アーキテクチャを拡張し、特徴学習能力を強化することでモデル性能を向上させる。
• モデルの複雑さとノイズ除去精度のバランスを取った、軽量でありながら強力なノイズ除去ネットワークを開発する。
• アテンション機構とスキップ接続を用いて、効果的な特徴フィルタリングとグローバルな文脈の捉え方を実現する。
• 多様なノイズタイプにおいて、高い画像修復品質を維持しながら、競争力のある推論速度を達成する。

提案手法

• 標準のリーマンスアテンションブロック（RABs）を用いるサブネットワークと、ハイブリッド拡張リーマンスアテンションブロック（HDRABs）を用いる別のサブネットワークを備えたデュアルブランチネットワークアーキテクチャを設計する。
• 各RABおよびHDRAB内に複数のスキップ接続を統合し、異なる畳み込み層間での勾配の流れと特徴学習を向上させる。
• RABおよびHDRABでリーマンスアテンションモジュールを採用し、トレーニング中に不要な特徴を抑制し、情報量の多い特徴を強調する。
• 各ブランチ内で長いスキップ接続を適用し、深層部における高レベル表現の保存と伝搬を促進する。
• 両ブランチからの特徴を連結することでグローバル特徴統合を実現し、補完的な情報を含む最終的な特徴表現を豊かにする。
• ダウンサンプリングと拡張畳み込みを用いて受容 field を拡大し、パrameter数を著しく増加させずに広い画像文脈を捉える。

実験結果

リサーチクエスチョン

• RQ1 専用ブロックを備えたデュアルブランチネットワークアーキテクチャは、合成および実世界の画像ノイズ除去タスクの両方で性能向上を達成できるか？
• RQ2 リーマンスアテンションと拡張畳み込みの組み合わせは、画像ノイズ除去における局所的およびグローバル特徴学習の向上にどの程度効果的か？
• RQ3 提案されたDRANetは、最先端の手法と比較して、モデルの複雑さ、推論速度、ノイズ除去品質のトレードオフをより良く実現できるか？
• RQ4 アテンション機構とスキップ接続は、画像ノイズ除去ネットワークにおける特徴フィルタリングと表現学習の向上にどの程度寄与するか？
• RQ5 アテンション機構を備えた、やや狭いが深く構築されたアーキテクチャは、実世界のノイズ除去シナリオにおいて、より深くまたは広いモデルを上回る性能を発揮できるか？

主な発見

• DRANetは、合成および実世界の画像ノイズ除去ベンチマークにおいて、DnCNN-B、FFDNet、ADNetなど多くの最先端手法を上回る、競争力のあるPSNRおよびSSIMスコアを達成した。
• ノイズレベル25のSet12データセットにおいて、DRANetは32.45 dBのPSNRを達成し、同ベンチマークでDnCNN-B（32.31 dB）およびFFDNet（32.38 dB）を上回った。
• グレースケール画像のDRANetは1,612Kパラメータで、AINDNet（13,764K）やAirNet（8,930K）と比較して著しく少ないが、優れた性能を維持している。
• 推論速度の評価では、1024×1024のカラー画像に対してDRANetは1.061秒で実行され、BM3DやMCWNNMを上回り、DnCNN-BやFFDNetと同等の速度を達成した。
• アブレーションスタディの結果、デュアルブランチアーキテクチャおよびアテンションモジュールの両方が性能向上に顕著な寄与をしていることが確認され、特にHDRABブランチは実世界ノイズに対して顕著な有効性を示した。
• グローバル特徴統合と長いスキップ接続により、特に高ノイズ領域において、繊細なテクスチャやエッジの再構成能力が向上した。