[論文レビュー] Learning Enriched Features for Real Image Restoration and Enhancement

Syed Waqas Zamir, Aditya Arora+5 more|arXiv (Cornell University)|Mar 15, 2020

Advanced Image Processing Techniques参考文献 121被引用数 67

ひとこと要約

MIRNetは高解像度の空間的ディテールを保持しつつ、選択的カーネル特徴フュージョンとデュアルアテンションを通じてマルチスケールの文脈情報を融合し、5つの実画像ベンチマークにおいてノイズ除去、超解像、画像強調の分野で最先端の結果を達成する。

ABSTRACT

With the goal of recovering high-quality image content from its degraded version, image restoration enjoys numerous applications, such as in surveillance, computational photography, medical imaging, and remote sensing. Recently, convolutional neural networks (CNNs) have achieved dramatic improvements over conventional approaches for image restoration task. Existing CNN-based methods typically operate either on full-resolution or on progressively low-resolution representations. In the former case, spatially precise but contextually less robust results are achieved, while in the latter case, semantically reliable but spatially less accurate outputs are generated. In this paper, we present a novel architecture with the collective goals of maintaining spatially-precise high-resolution representations through the entire network and receiving strong contextual information from the low-resolution representations. The core of our approach is a multi-scale residual block containing several key elements: (a) parallel multi-resolution convolution streams for extracting multi-scale features, (b) information exchange across the multi-resolution streams, (c) spatial and channel attention mechanisms for capturing contextual information, and (d) attention based multi-scale feature aggregation. In a nutshell, our approach learns an enriched set of features that combines contextual information from multiple scales, while simultaneously preserving the high-resolution spatial details. Extensive experiments on five real image benchmark datasets demonstrate that our method, named as MIRNet, achieves state-of-the-art results for a variety of image processing tasks, including image denoising, super-resolution, and image enhancement. The source code and pre-trained models are available at https://github.com/swz30/MIRNet.

研究の動機と目的

• ネットワーク全体で高解像度の空間的ディテールを保存しつつ、複数のスケールからの豊かな文脈情報を取り入れる。
• 細部とグローバルな文脈を同時に活用するマルチスケール特徴抽出とフュージョン機構を開発する。
• 効率的なパラメータ使用で、動的かつアテンションベースのマルチ解像度特徴の集約を実現する。
• 並列解像度ストリーム間での効果的な情報交換を促進し、復元品質を向上させる。
• 多様な実世界データセットとタスクに対する頑健性と汎化性能を示す。

提案手法

• 細部と文脈情報の両方を捉えるため、異なる解像度で動作する3つの平行ストリームを備えたマルチスケール残差ブロック（MRB）を導入する。
• 自己注意とフューズ・アンド・セレクト機構を用いて、マルチ解像度特徴を動的に融合する選択的カーネル特徴フュージョン（SKFF）を提案する。
• 各ストリーム内の特徴を再校正するため、チャネルと空間のアテンションを適用するデュアルアテンションユニット（DAU）を組み込む。
• 残差学習の挙動とシフト・等変性を保ちながら、2xおよび4xのダウンサンプリング/アップサンプリングを実行する残差リサイズモジュールを使用する。
• MRBを積み重ねる再帰的残差グループ（RRG）アーキテクチャを採用し、最後に残差予測とトレーニングのためのCharbonnier損失を適用する。
• 5つの実画像データセットに対してノイズ除去、超解像、強化タスクを横断するMIRNetを訓練・評価し、エンドツーエンド学習（サブモジュールの事前学習なし）を行う。

実験結果

リサーチクエスチョン

• RQ1 復元ネットワーク全体で高解像度表現を維持しつつ、低解像度の文脈を活用するにはどうすればよいか？
• RQ2 マルチスケールのストリーム間情報交換は、空間的精度を犠牲にすることなく復元品質を改善できるか？
• RQ3 選択的カーネルフュージョンとデュアルアテンションは、スケール間の特徴集約と全体的な復元性能を向上させるか？
• RQ4 提案されたアーキテクチャは、多様な実世界データセットとタスク（ノイズ除去、SR、強化）にどの程度一般化するか？
• RQ5 アーキテクチャの構成要素（MRB、SKFF、DAU、残差リサイズ）が復元結果に与える影響は何か？

主な発見

• 提案されたMIRNetは、ノイズ除去、超解像、強化の5つの実画像ベンチマークデータセットで最先端の結果を達成する。
• SKFFは、単純な結合よりも少ないパラメータで効果的なスケール間特徴フュージョンを提供し、性能を向上させる。
• DAUはストリーム内でチャネルと空間のアテンションの両方を適用することで特徴表現を強化する。
• 残差リサイズを伴う再帰的残差設計は、高解像度の詳細を保持しつつ深いネットワークと安定した学習を可能にする。
• アブレーション研究は、性能向上のためのスキップ接続、SKFF、DAU、ストリーム/カラム数の重要性を確認している。
• カメラ横断およびデータセット横断の評価は、実世界データに対する頑健な一般化を示している。