[論文レビュー] Pyramid Attention Networks for Image Restoration

Yiqun Mei, Yuchen Fan+7 more|arXiv (Cornell University)|Apr 28, 2020

Advanced Image Processing Techniques参考文献 49被引用数 72

ひとこと要約

PANet はピラミッドアテンションモジュールを導入し、多段階の自己相似性を捉えて画像復元タスクを改善し、シンプルなバックボーンでノイズ除去、デモザイング、圧縮アーチファクト低減、超解像の分野で最先端の結果を達成します。

ABSTRACT

Self-similarity refers to the image prior widely used in image restoration algorithms that small but similar patterns tend to occur at different locations and scales. However, recent advanced deep convolutional neural network based methods for image restoration do not take full advantage of self-similarities by relying on self-attention neural modules that only process information at the same scale. To solve this problem, we present a novel Pyramid Attention module for image restoration, which captures long-range feature correspondences from a multi-scale feature pyramid. Inspired by the fact that corruptions, such as noise or compression artifacts, drop drastically at coarser image scales, our attention module is designed to be able to borrow clean signals from their "clean" correspondences at the coarser levels. The proposed pyramid attention module is a generic building block that can be flexibly integrated into various neural architectures. Its effectiveness is validated through extensive experiments on multiple image restoration tasks: image denoising, demosaicing, compression artifact reduction, and super resolution. Without any bells and whistles, our PANet (pyramid attention module with simple network backbones) can produce state-of-the-art results with superior accuracy and visual quality. Our code will be available at https://github.com/SHI-Labs/Pyramid-Attention-Networks

研究の動機と目的

• 画像復元における自己相似性の事前情報の活用を動機づけ、単一スケールの非局所アテンションの限界を特定する。
• 特徴ピラミッドからの跨スケール相関を統合する汎用的なピラミッドアテンションモジュールを提案する。
• 最小限のアーキテクチャ変更で、複数の復元タスクに対するPANetの有効性を示す。

提案手法

• 非局所アテンションを複数のスケールレベルに拡張するピラミッドアテンションを定義する。
• 特徴マップをダウンサンプリングして得られる領域記述子を用いたスケール不変アテンションを用いて実装する。
• ResNet様のバックボーンにピラミッドアテンションブロックを挿入してPANetを拡張し、L1損失で訓練する。
• 親和度関数には埋め込みガウス、値変換には線形埋め込み、ピラミッド全体でsoftmax正規化を用いる。
• ロバスト性を高めるために近傍制約付きのパッチベースの領域間マッチングを組み込む。
• 実装を完全畳み込み型として示し、さまざまなアーキテクチャと互換性を持たせる。

実験結果

リサーチクエスチョン

• RQ1 ピラミッドアテンションで捉えられる跨スケールの自己相似性は、多様なタスクにおいて復元品質を改善できるか。
• RQ2 マルチスケールアテンションの統合は、単一スケールの非局所アテンションや既存の最先端手法を上回るか。
• RQ3 提案されたPANetは、復元アーキテクチャやタスクを横断して使用できる汎用ビルディングブロックか。

主な発見

• PANetは標準的なベンチマークとデータセットで、ノイズ除去、デモザイング、圧縮アーチファクト低減、超解像の分野で最先端の結果を達成する。
• シンプルなバックボーンにおける単一のピラミッドアテンションブロックで、従来の最良手法に対して顕著な改善を達成する。
• マルチスケール相関 captured by pyramid attention provide robust improvements, especially in scenes with abundant cross-scale self-exemplars (e.g., Urban100).
• ピラミッドアテンションはピクセル単位のマッチングや単一スケールの非局所マッチングを上回り、軽量なPANet変種でも効果的である。
• 可視化は、複数のスケールで情報量の多い領域にアテンションマップが焦点を合わせることを示し、跨スケール依存性モデリングを裏付ける。