[論文レビュー] Multi-Stage Progressive Image Restoration

Syed Waqas Zamir, Aditya Arora+5 more|arXiv (Cornell University)|Feb 4, 2021

Advanced Image Processing Techniques参考文献 100被引用数 52

ひとこと要約

MPRNetは、エンコーダ-デコーダの文脈学習と最終的な高解像度段を組み合わせた、3段階の進行的画像復元フレームワークを提示します。監督付き注意機構と段階間特徴融合を用いて、10のデータセットで最先端の雨除去、ブラー除去、ノイズ除去を実現します。

ABSTRACT

Image restoration tasks demand a complex balance between spatial details and high-level contextualized information while recovering images. In this paper, we propose a novel synergistic design that can optimally balance these competing goals. Our main proposal is a multi-stage architecture, that progressively learns restoration functions for the degraded inputs, thereby breaking down the overall recovery process into more manageable steps. Specifically, our model first learns the contextualized features using encoder-decoder architectures and later combines them with a high-resolution branch that retains local information. At each stage, we introduce a novel per-pixel adaptive design that leverages in-situ supervised attention to reweight the local features. A key ingredient in such a multi-stage architecture is the information exchange between different stages. To this end, we propose a two-faceted approach where the information is not only exchanged sequentially from early to late stages, but lateral connections between feature processing blocks also exist to avoid any loss of information. The resulting tightly interlinked multi-stage architecture, named as MPRNet, delivers strong performance gains on ten datasets across a range of tasks including image deraining, deblurring, and denoising. The source code and pre-trained models are available at https://github.com/swz30/MPRNet.

研究の動機と目的

• マルチステージ構造を介して画像復元を扱いやすいサブタスクに分解する。
• エンコーダ-デコーダと元の解像度処理を組み合わせて、文脈情報と細かな空間的ディテールのバランスを取る。
• 段階ごとの監視と段階間の特徴融合により、段階的学習を可能にする。
• トレーニングを安定化させるために、段間接続を用いて情報の流れを保持する。

提案手法

• 初期段階でマルチスケールの文脈特徴を学習するために、エンコーダ-デコーダのサブネットワークを使用する。
• 最後の段階では元の画像解像度で動作し、細かなディテールを保持するために、最後の段階で元解像度で処理する。
• ステージ間に監督付き注意モジュール（SAM）を導入し、真値ガイダンスを用いて特徴を再加重する。
• 段間特徴融合（CSFF）を組み込み、マルチスケールの文脈特徴を段階間で伝播させる。
• 各段階で残差を予測し、劣化入力に加算してX_Sを得る。
• Charbonnier損失とエッジ損失を組み合わせたジョイント損失でエンドツーエンドに訓練する。
• 細部を保持するため、チャネル注意ブロックと元解像度ブロックを備えたORSNetを使用する。

実験結果

リサーチクエスチョン

• RQ1 マルチスケールの文脈特徴を高解像度のディテールと融合するマルチステージアーキテクチャは、雨除去、ブラー除去、ノイズ除去全体で復元品質を向上させることができるか？
• RQ2 中間段階の監督とピクセルごとの注意機構による特徴の再重み付けは、段階的復元を改善するか？
• RQ3 段階間特徴融合が情報の流れとトレーニングの安定性に与える影響は？
• RQ4 合成データと実世界の劣化データセットの両方で、モデルの汎化性能はどの程度か？

主な発見

• MPRNetは、雨除去、ブラー除去、ノイズ除去の分野で、合成データと実世界データの10データセットにおいて最先端の性能を達成している。
• 監督付き注意モジュールと段階間特徴融合は顕著な利得をもたらす。ablationでSAMを除去するとPSNRが約0.42–0.63 dB低下し、CSFFを除去すると約0.16–0.18 dB低下する。
• MSPFNと比較して、MPRNetは雨除去で約20%の相対PSNR向上を、より少ないパラメータと高速なランタイムで達成する。
• 最後の段階が元解像度で動作することは、前段のエンコーダ-デコーダが文脈を捉える一方で、細かい空間的ディテールを保持するのに役立つ。
• 段階ごとの指針により、軽量で高速な最初の段階と、徐々に強力になる後の段階を実現し、リソース効率の高いスケーラビリティを可能にする。