[論文レビュー] NBNet: Noise Basis Learning for Image Denoising with Subspace Projection

Shen Cheng, Yuzhi Wang+4 more|arXiv (Cornell University)|Dec 30, 2020

Image and Signal Denoising Methods参考文献 52被引用数 17

ひとこと要約

NBNetは、特徴空間におけるノイズに強い基底ベクトルを学習することで、信号回復を向上させるための部分空間射影を活用する、画像ノイズ除去のための新規フレームワークを提案する。非局所自己注意モジュール（SSA）を用いてエンドツーエンドの基底生成と射影を実現することで、従来の手法よりも顕著に低い計算コストで、SIDDおよびDNDベンチマークにおいて最先端のPSNRおよびSSIMを達成した。

ABSTRACT

In this paper, we introduce NBNet, a novel framework for image denoising. Unlike previous works, we propose to tackle this challenging problem from a new perspective: noise reduction by image-adaptive projection. Specifically, we propose to train a network that can separate signal and noise by learning a set of reconstruction basis in the feature space. Subsequently, image denosing can be achieved by selecting corresponding basis of the signal subspace and projecting the input into such space. Our key insight is that projection can naturally maintain the local structure of input signal, especially for areas with low light or weak textures. Towards this end, we propose SSA, a non-local subspace attention module designed explicitly to learn the basis generation as well as the subspace projection. We further incorporate SSA with NBNet, a UNet structured network designed for end-to-end image denosing. We conduct evaluations on benchmarks, including SIDD and DND, and NBNet achieves state-of-the-art performance on PSNR and SSIM with significantly less computational cost.

研究の動機と目的

• 従来のCNNが局所フィルタ依存性により、細かいテクスチャや低照度領域の詳細を保持するのが難しい画像ノイズ除去の課題に対処すること。
• 信号対ノイズ比（SNR）が低い領域における局所応答ベースのノイズ除去の限界を、グローバル構造的情報を組み込むことで克服すること。
• 複雑な畳み込みブロックを追加せずに、信号部分空間の基底を学習し、射影を実行する効率的でエンドツーエンドで訓練可能なメカニズムを開発すること。
• 複雑なネットワークアーキテクチャや明示的なノイズモデリングに代わる部分空間射影が、画像ノイズ除去において有望な代替手段であることを示すこと。
• 既存の最先端手法と比較して、計算オーバーヘッドを抑えた優れた性能を、標準ベンチマークで示すこと。

提案手法

• ノイズの多い特徴を学習された信号部分空間に射影することで、綺麗な信号を再構築する、画像に適応した部分空間射影に基づく新規なノイズ除去フレームワークを提案する。
• 非局所自己注意を用いて基底ベクトルの学習と射影を同時に実行する、部分空間注意（SSA）モジュールを設計し、グローバルな文脈モデリングを可能にする。
• スキップ接続と空間的詳細の保持を目的に、UNetに類似したアーキテクチャにSSAを統合し、エンコーダーおよびスキップ接続パスからの特徴に基づいて基底生成を制御する。
• 射影演算を $\text{Proj}(\mathbf{X}_1, \mathbf{X}_2) = \mathbf{X}_1^T \mathbf{B} (\mathbf{B}^T \mathbf{B})^{-1} \mathbf{B}^T \mathbf{X}_1$ として定式化し、$\mathbf{B}$ は $\mathbf{X}_2$ から得られる学習済み基底を表す。
• 予測画像とクリーン画像の間の標準L2損失を用いて、SSAが効率的かつ微分可能であることを保証しながら、ネットワーク全体をエンドツーエンドで訓練する。
• 過学習を避けるために、本質的な信号構造を捉えるのに十分であることが示された、コンパクトな基底次元 $K=8$ または $16$ を使用する。

実験結果

リサーチクエスチョン

• RQ1 部分空間射影を用いることで、低SNR領域におけるローカル構造の保持を効果的に向上させ、画像ノイズ除去の性能を向上させることができるか？
• RQ2 標準的な畳み込み演算と比較して、非局所自己注意を用いて基底ベクトルを学習することで、ノイズ除去性能がどのように向上するか？
• RQ3 特徴の出力源と次元の観点から、基底生成と射影の最適な設定は何か？
• RQ4 追加の畳み込み層を追加するのではなく、部分空間ベースのノイズ除去が、深層CNNに比べて計算コストを抑えた最先端の性能を達成できるか？
• RQ5 本手法は、従来の手法および深層学習ベースのベースラインと比較して、弱いテクスチャや高周波数成分の詳細をどのように保持しているか？

主な発見

• SIDDベンチマークにおいて、NBNetは39.75 dBのPSNRおよび0.973のSSIMを達成し、VDN、DANet、MIRNet、CBDNetを含むすべての先行手法を上回った。
• DNDベンチマークでは、特に弱いテクスチャ領域や低照度領域において、優れたテクスチャおよびシャープネスの保持を実現し、最先端の性能を達成した。
• SSAモジュールは、DnCNNに比べ1.15 dB、DnCNNにSSAを追加したバージョンに比べ0.46 dBのPSNR向上を示し、強力なベースラインに追加しても有効であることを実証した。
• アブレーションスタディの結果、$\mathbf{X}_1$ を $\mathbf{X}_1$ と $\mathbf{X}_2$ の両方から生成された基底に射影する方法が最良の性能（PSNR 39.75 dB）を示し、単一の出力源からの基底生成を上回った。
• 基底の可視化により、学習された16チャネルの基底が繰り返しパターン（例：ドット）を捉えており、グローバル相関を介して画像全体にわたる一貫性のあるテクスチャ回復を可能にしていることが確認された。
• わずかな計算オーバーヘッドで高い性能を維持しており、追加の畳み込み層を追加するのと比較して、より効率的であることが示された。