[論文レビュー] Mixed Hierarchy Network for Image Restoration

Hu Gao, Depeng Dang|arXiv (Cornell University)|Feb 19, 2023

Advanced Image Processing Techniques被引用数 7

ひとこと要約

MHNet は文脈情報と空間的細部をバランスさせる混合階層フレームワークを提示し、デレインとデブラーリングで計算量を抑えつつ最先端の結果を達成します。

ABSTRACT

Image restoration is a long-standing low-level vision problem, e.g., deblurring and deraining. In the process of image restoration, it is necessary to consider not only the spatial details and contextual information of restoration to ensure the quality, but also the system complexity. Although many methods have been able to guarantee the quality of image restoration, the system complexity of the state-of-the-art (SOTA) methods is increasing as well. Motivated by this, we present a mixed hierarchy network that can balance these competing goals. Our main proposal is a mixed hierarchy architecture, that progressively recovers contextual information and spatial details from degraded images while we design intra-blocks to reduce system complexity. Specifically, our model first learns the contextual information using encoder-decoder architectures, and then combines them with high-resolution branches that preserve spatial detail. In order to reduce the system complexity of this architecture for convenient analysis and comparison, we replace or remove the nonlinear activation function with multiplication and use a simple network structure. In addition, we replace spatial convolution with global self-attention for the middle block of encoder-decoder. The resulting tightly interlinked hierarchy architecture, named as MHNet, delivers strong performance gains on several image restoration tasks, including image deraining, and deblurring.

研究の動機と目的

• 画像復元における復元品質とシステムの複雑さのバランスを Motivate する。
• 文脈重視のエンコーダ-デコーダと高解像度の全画素細部保持を組み合わせた混合階層アーキテクチャを提案する。
• 階層間情報交換のための適応特徴フュージョン（AFFM）を導入する。
• 線形時間計算量を有する選択的マルチヘッド注意機構（SMAM）を開発する。
• 非線形活性化を用いないベースブロックで計算負荷を軽減する。

提案手法

• 文脈用のエンコーダ-デコーダサブネットワークと空間的細部用の全解像度サブネットワークという2階層アーキテクチャを使用する。
• 自己注意ベースの機構を介して異なる階層の特徴を融合する AFFM を導入する。
• エンコーダ-デ코ーダの中間ブロックとして SMAM を設計し、重要な注意スコアを線形計算量で保持する。
• 非線形活性化を multiplication に置換/省略して非線形活性化フリーブロック（NAFBlock）によりモデルの複雑性を低減する。
• PSNR に基づく損失を用いた訓練と、デレインおよびデブラーリングタスクの標準的データ増強を適用する。

実験結果

リサーチクエスチョン

• RQ1 混合階層アーキテクチャは、計算コストを抑えつつ多尺度の文脈情報と高精細な空間ディテールを共同で捉えることができるか。
• RQ2 AFFM および SMAM の構成要素は、階層間情報交換と注意機構を効果的に可能にするか。
• RQ3 MHNet は MACs とパラメータを抑えつつ、デレインおよびデブラーリングで最先端の性能を達成できるか。
• RQ4 非線形活性化を活性化なしのブロックへ置換することは、復元精度と計算効率にどのような影響を与えるか。

主な発見

• MHNet はデレインおよびデブラーリングのベンチマークでいくつかの最先端手法を上回る。
• ベースラインの NAFNet と比較して、MHNet はデレインデータセット全体で平均約 1.23 dB PSNR を改善。
• MHNet は Restormer および DRSformer に対して競争力のある結果を、計算コストを大幅に抑えつつ達成（MACs は一部のライバルより ~40 倍小さい）。
• AFFM は単純なフュージョンに対して測定可能な改善をもたらし、アブレーションで PSNR が +0.12–0.18 dB 改善を示した。
• SMAM は注意計算を二次式から一次式の計算量に削減しつつ、PSNR/SSIM を維持または改善。
• MHNet は強い一般化能力を示し、GoPro だけで訓練しても GoPro および HIDE のデブラーリングベンチマークで最先端の PSNR を達成。