[論文レビュー] Residual Non-local Attention Networks for Image Restoration

Yulun Zhang, Kunpeng Li+3 more|arXiv (Cornell University)|Mar 24, 2019

Image and Signal Denoising Methods被引用数 203

ひとこと要約

RNAN は trunk および mask ブランチを用いた残差局所・非局所注意ブロックを導入し、非局所混合注意と残差注意学習を可能にして、ノイズ除去、デマスキング、圧縮アーチファクト低減、超解像にわたる画像復元の性能を向上させます。

ABSTRACT

In this paper, we propose a residual non-local attention network for high-quality image restoration. Without considering the uneven distribution of information in the corrupted images, previous methods are restricted by local convolutional operation and equal treatment of spatial- and channel-wise features. To address this issue, we design local and non-local attention blocks to extract features that capture the long-range dependencies between pixels and pay more attention to the challenging parts. Specifically, we design trunk branch and (non-)local mask branch in each (non-)local attention block. The trunk branch is used to extract hierarchical features. Local and non-local mask branches aim to adaptively rescale these hierarchical features with mixed attentions. The local mask branch concentrates on more local structures with convolutional operations, while non-local attention considers more about long-range dependencies in the whole feature map. Furthermore, we propose residual local and non-local attention learning to train the very deep network, which further enhance the representation ability of the network. Our proposed method can be generalized for various image restoration applications, such as image denoising, demosaicing, compression artifacts reduction, and super-resolution. Experiments demonstrate that our method obtains comparable or better results compared with recently leading methods quantitatively and visually.

研究の動機と目的

• corrupted image における長距離依存性を捉えることによる局所CNN への改善を動機づける。
• 残差局所・非局所注意を用いた非常に深いネットワークを開発し、復元品質を向上させる。
• trunk および mask ブランチを統合して階層特徴を学習し、混合注意で適応的にスケールする。
• 非局所注意を取り入れてグローバルな依存関係を活用しつつ低レベルのディテールを保持する。
• RNAN の複数の画像復元タスクへの一般化を示す。

提案手法

• 残差ブロックを用いて階層的特徴を抽出する trunk ブランチを設計する。
• 局所畳み込みとダウンサンプリング/アップサンプリング、あるいは非局所ブロックを介して注意マップを生成する mask ブランチを実装する。
• mask ブランチに非局所ブロックを組み込み、非局所混合注意を生成する。
• 復元時に低レベルのディテールを保持するための残差非局所注意学習 H_RNA(x)=H_trunk(x)H_mask(x)+x を提案する。
• 低品質/高品質画像ペアで L2 損失を用いて RNAN を訓練し、RNAB（局所および非局所）の非常に深い積み重ねにより強力な表現力を実現する。
• 実装の具体例を提供：10 blocks、64/32 の特徴チャネル、ADAM オプティマイザ、1x1 および 3x3 カーネル、等。

実験結果

リサーチクエスチョン

• RQ1 残差局所・非局所注意は、標準的な CNN ベースの手法より復元品質を向上させるのか。
• RQ2 mask ブランチに非局所混合注意を組み込むことで、劣化画像における長距離依存性の処理能力は向上するのか。
• RQ3 提案する残差非局所注意学習は、 denoising、 demosaicing、 compression artifact reduction、 super-resolution などのタスクで非常に深いネットワークの画像復元に有効なのか。
• RQ4 mask ブランチ設計と非局所ブロックが性能と効率に与える影響は何か。

主な発見

• RNAN は報告された実験で denoising、 demosaicing、 compression artifacts reduction、 SR の各分野で Leading Methods より優れた結果を達成。
• 非局所混合注意と mask ブランチ は、これらの構成がない場合より復元性能を一貫して改善する。
• より多くの非局所ブロックは PSNR を向上させるが計算コストも高くなるため、バランスをとって二つの非局所ブロックを選択するのが妥当。
• RNAN は標準ベンチマークでの競争力のある実行時間と約7.4M パラメータ程度の中程度のモデルサイズで最先端の結果を提供。
• Self-ensemble RNAN+ は SR の結果をさらに改善し、いくつかのより深い SR モデルよりもパラメータ効率で強力な性能を維持しながら高い性能を発揮。