[論文レビュー] Adaptive Dynamic Filtering Network for Image Denoising

Hao Shen, Zhong‐Qiu Zhao+1 more|arXiv (Cornell University)|Nov 22, 2022

Image and Signal Denoising Methods被引用数 9

ひとこと要約

本稿では、空間的に強化されたカーネル生成（SEKG）モジュールを活用して、高周波数およびマルチスケール特徴の学習を向上させる動的畳み込みを改善する、画像ノイズ除去のための新しいアダプティブダイナミックフィルタリングネットワーク、ADFNetを提案する。動的畳み込みブロック（DCB）とマルチスケール動的畳み込みブロック（MDCB）を、多次元特徴統合（MFI）機構と統合することで、計算コストが低く抑えられながらも、合成および実世界のガウスノイズデータセットにおいて最先端の性能を達成する。

ABSTRACT

In image denoising networks, feature scaling is widely used to enlarge the receptive field size and reduce computational costs. This practice, however, also leads to the loss of high-frequency information and fails to consider within-scale characteristics. Recently, dynamic convolution has exhibited powerful capabilities in processing high-frequency information (e.g., edges, corners, textures), but previous works lack sufficient spatial contextual information in filter generation. To alleviate these issues, we propose to employ dynamic convolution to improve the learning of high-frequency and multi-scale features. Specifically, we design a spatially enhanced kernel generation (SEKG) module to improve dynamic convolution, enabling the learning of spatial context information with a very low computational complexity. Based on the SEKG module, we propose a dynamic convolution block (DCB) and a multi-scale dynamic convolution block (MDCB). The former enhances the high-frequency information via dynamic convolution and preserves low-frequency information via skip connections. The latter utilizes shared adaptive dynamic kernels and the idea of dilated convolution to achieve efficient multi-scale feature extraction. The proposed multi-dimension feature integration (MFI) mechanism further fuses the multi-scale features, providing precise and contextually enriched feature representations. Finally, we build an efficient denoising network with the proposed DCB and MDCB, named ADFNet. It achieves better performance with low computational complexity on real-world and synthetic Gaussian noisy datasets. The source code is available at https://github.com/it-hao/ADFNet.

研究の動機と目的

• 深層畳み込みニューラルネットワークにおける特徴スケーリングおよびダウンサンプリングによって引き起こされる高周波数ディテールの損失を解消すること。
• 空間的文脈をカーネル生成に組み込むことで、動的畳み込みを改善し、高周波数特徴の学習を向上させること。
• 共有のアダプティブダイナミックカーネルと拡張畳み込みを用いて、計算コストを抑えた効率的なマルチスケール特徴抽出を可能とすること。
• 多次元特徴統合（MFI）機構を用いて、マルチスケール特徴の次元間融合を実現し、特徴表現を強化すること。
• 微細な画像ディテールを保持しながらも、計算複雑性を低く抑えた軽量で効率的かつ効果的なノイズ除去ネットワークの開発

提案手法

• 空間的文脈抽出とチャネル情報の相互作用を統合することで、最小限の計算コストでカーネル生成をガイドする空間的に強化されたカーネル生成（SEKG）モジュールを提案する。
• SEKGが生成するカーネルを用いて高周波数特徴を強化し、スキップ接続により低周波数コンテンツを保持する動的畳み込みブロック（DCB）を導入する。
• 共有のアダプティブダイナミックカーネルと拡張畳み込みを適用することで、パラメータ数を削減しつつ、効率的なマルチスケール特徴抽出を実現するマルチスケール動的畳み込みブロック（MDCB）を設計する。
• 動的畳み込みにおける深度可分畳み込みの適用により、効率性を維持するとともにモデルの複雑性を低減する。
• 多次元特徴統合（MFI）機構を導入し、次元間の依存関係をモデル化することで、マルチスケール特徴の統合と表現の豊かさを向上させる。
• MFIを組み合わせたDCBおよびMDCBブロックをスタックすることでADFNetアーキテクチャを構築し、強力な特徴表現を実現するエンドツーエンドの画像ノイズ除去学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 空間的文脈を動的カーネル生成に効果的に統合することで、画像ノイズ除去における高周波数特徴の学習を向上させることができるか？
• RQ2 動的畳み込みをどのように変更すれば、高周波数および低周波数の両方の画像ディテールを同時に保持できるか？
• RQ3 共有のアダプティブダイナミックカーネルと拡張畳み込みを組み合わせることで、計算コストを抑えた効率的なマルチスケール特徴抽出が可能になるか？
• RQ4 多次元特徴統合機構により、マルチスケール特徴の統合が向上し、全体の表現能力が向上するか？
• RQ5 提案されたADFNetは、合成および実世界のガウスノイズデータセットにおいて、優れたノイズ除去性能を発揮するとともに、低FLOPsおよび低パラメータ数を維持できるか？

主な発見

• ADFNetは、Kodak24データセットでノイズレベルσ=50のときPSNRが29.81を達成し、BSD68では28.43を記録し、ベースラインモデルを上回る性能を示した。
• アブレーションスタディの結果、DCBまたはMDCBを削除するとPSNRが著しく低下し、性能に果たす重要性が確認された。
• MFI機構により特徴統合が向上し、その機構を削除するとすべてのベンチマークで顕著なPSNR低下が観察された。
• SEKGモジュールは空間的およびチャネル的文脈を統合することでカーネル生成を強化し、標準畳み込みに比べて高周波数ディテールの回復が顕著に向上した。
• 可視化結果から、DCBおよびMDCBがエッジやテクスチャを効果的に強調していることが確認され、MFIが活性化値を調整することで特徴表現が向上していることが示された。
• DCBおよびMDCBをデコーダーでのみ使用すると、エンコーダーに適用する場合よりも高い性能を達成した。これは、よりクリアな特徴空間でのカーネル生成がより安定しているためである。