[論文レビュー] Spatial-Adaptive Network for Single Image Denoising

Meng Chang, Qi Li+2 more|arXiv (Cornell University)|Jan 28, 2020

Image and Signal Denoising Methods参考文献 38被引用数 6

ひとこと要約

本稿では、局所的なテクスチャーやエッジ情報に基づいて関連する特徴を動的にサンプリングできる、モジュレートドレーブル畳み込みを用いた残差的空間適応ブロックを組み込んだ空間的適応型ノイズ除去ネットワークSADNetを提案する。この手法により、合成および実際のノイズ付き画像からの効果的なノイズ除去が可能となり、エンコーダ・デコーダ構造にコンテキストブロックを組み合わせたマルチスケール特徴抽出と粗〜細かい段階的ノイズ除去を実現することで、計算コストを低減しつつ最先端の性能を達成する。

ABSTRACT

Previous works have shown that convolutional neural networks can achieve good performance in image denoising tasks. However, limited by the local rigid convolutional operation, these methods lead to oversmoothing artifacts. A deeper network structure could alleviate these problems, but more computational overhead is needed. In this paper, we propose a novel spatial-adaptive denoising network (SADNet) for efficient single image blind noise removal. To adapt to changes in spatial textures and edges, we design a residual spatial-adaptive block. Deformable convolution is introduced to sample the spatially correlated features for weighting. An encoder-decoder structure with a context block is introduced to capture multiscale information. With noise removal from the coarse to fine, a high-quality noisefree image can be obtained. We apply our method to both synthetic and real noisy image datasets. The experimental results demonstrate that our method can surpass the state-of-the-art denoising methods both quantitatively and visually.

研究の動機と目的

• ノイズ付き画像における過剰な平滑化や細部の損失を引き起こす、標準畳み込みニューラルネットワーク（CNN）の固定受容 field の制限を解消する。
• 計算量やメモリ使用量が著しく増加する非局所的または深層ネットワーク手法の非効率性を克服する。
• 空間的に変化する複雑なノイズパターンを有する実世界の画像において、効果的なブラインドノイズ除去を可能にする。
• 重度に損傷を受けた画像における細部やテクスチャの回復を向上させつつ、高速な推論速度を維持する。
• 最小限の計算オーバーヘッドで、合成および実世界のデータセットの両方で優れた性能を達成する。

提案手法

• 局所的な画像コンテンツに基づいて空間的に関連する特徴を適応的にサンプリングする、モジュレートドレーブル畳み込みを用いた残差的空間適応ブロック（RSAB）を提案する。
• エンコーダ・デコーダアーキテクチャにRSABと残差ブロックを統合し、マルチスケール特徴抽出による粗〜細かい段階的ノイズ除去を実現する。
• 粗いスケールで受容 field を拡大し、長距離依存関係を捉えるために、計算量の増加をほとんど引き起こさないコンテキストブロックを統合する。
• ドレーブル畳み込みにおけるオフセット予測を用いて、画像のテクスチャーやエッジ情報に基づいてサンプリング位置を動的に調整する。
• マルチスケールの監視とスキップ接続を活用し、ノイズ除去プロセス中に高周波成分を保持する。
• DnD、SIDD、Namなどの合成および実際のノイズ付きデータセットを用いて、エンドツーエンドのブラインドノイズ除去を最適化する。

実験結果

リサーチクエスチョン

• RQ1 標準CNNと比較して、空間的適応型畳み込み機構は、単一画像ノイズ除去における細部の保持と過剰平滑化の低減に寄与するか？
• RQ2 残差ブロックとドレーブル畳み込みを統合することで、複雑なノイズパターンを有する実世界のノイズ付き画像における性能にどのような影響を与えるか？
• RQ3 エンコーダ・デコーダ構造にコンテキストブロックを組み合わせることで、計算コストを抑えつつマルチスケール特徴抽出と長距離依存関係の捉え方をどの程度達成できるか？
• RQ4 提案手法は、実世界のデータセットにおいて、定量的指標および視覚的品質の両面で、既存の最先端モデルを上回る性能を示すか？
• RQ5 ノイズレベルや分布に関する事前知識がなくとも、ネットワークはブラインドノイズ除去のシナリオに効果的に一般化できるか？

主な発見

• DnD sRGBデータセットにおいて、SADNetはPSNR 39.59 dB、SSIM 0.9523を達成し、Path-Restore や RIDNet などすべての比較手法を上回った。
• SIDD検証セットでは、SADNetはPSNR 39.46 dBを達成し、CBDNet（30.78 dB）、PD（32.94 dB）、RIDNet（38.71 dB）を顕著に上回った。
• JPEG圧縮画像を含むNamデータセットでは、SADNetはPSNR 42.92 dB、SSIM 0.9839を達成し、RIDNet（41.04 dB）、PD（41.09 dB）、CBDNet*（41.31 dB）を上回った。
• Namデータセットにおいて、RIDNet より1.88 dB、CBDNet* より1.61 dBのPSNR向上を達成し、圧縮アーチファクトに対して強い耐性を示した。
• パrameter数が430万個であるにもかかわらず、SADNetのFLOPsは50.1G、480×320画像における推論時間は26.7msであり、MemNet や RNAN よりも顕著に高速であった。
• DnD、SIDD、Namデータセットにおける視覚的比較では、SADNetは競合手法が細かい構造をぼかしたり歪めたりするのに対し、エッジやテクスチャをよりよく保持していた。