[論文レビュー] Simple Baselines for Image Restoration

Liangyu Chen, Xiaojie Chu+2 more|arXiv (Cornell University)|Apr 10, 2022

Image and Signal Denoising Methods被引用数 25

ひとこと要約

この論文は、SOTAを凌駕する高性能な画像復元の簡潔なベースラインを提示し、ブロック間・ブロック内の複雑さを低く保つ。また、非線形活性化を排除することで nonlinear activation free network (NAFNet) を提案している。

ABSTRACT

Although there have been significant advances in the field of image restoration recently, the system complexity of the state-of-the-art (SOTA) methods is increasing as well, which may hinder the convenient analysis and comparison of methods. In this paper, we propose a simple baseline that exceeds the SOTA methods and is computationally efficient. To further simplify the baseline, we reveal that the nonlinear activation functions, e.g. Sigmoid, ReLU, GELU, Softmax, etc. are not necessary: they could be replaced by multiplication or removed. Thus, we derive a Nonlinear Activation Free Network, namely NAFNet, from the baseline. SOTA results are achieved on various challenging benchmarks, e.g. 33.69 dB PSNR on GoPro (for image deblurring), exceeding the previous SOTA 0.38 dB with only 8.4% of its computational costs; 40.30 dB PSNR on SIDD (for image denoising), exceeding the previous SOTA 0.28 dB with less than half of its computational costs. The code and the pre-trained models are released at https://github.com/megvii-research/NAFNet.

研究の動機と目的

• SOTA法を打ち負かすことができる、低複雑度の画像復元ベースラインを動機づける。
• ノイズ除去とブラー処理における高性能に不可欠な要素を調査する。
• この領域でSOTA結果を得るには非線形活性化関数が不要である可能性を示す。
• 非線形活性化なしの単純化されたネットワーク（NAFNet）を導出・検証する。
• ノイズ除去、ブラー、JPEGアーティファクトのシナリオ全体にわたる包括的なアブレーションを提供し、汎用性を示す。

提案手法

• ブロック間の複雑さを最小化するため、単一段階のUNet風アーキテクチャを採用。
• 畳み込み、正規化、スキップ接続を備えた素通りのブロックを構築し、コンポーネント追加（GELU、CA）についてアブレーション研究を行う。
• GELUをSimpleGateに、CAをSimplified Channel Attentionに置換して、非線形活性化なしのネットワーク（NAFNet）を形成。
• GLUはGELUの一般化であり、非線形活性化は乗算ゲートで置換可能であることを示す。
• SIDD（ノイズ除去）とGoPro（デブラー）で、約16 GMACの予算でベースラインとNAFNetをSOTA法と比較。

実験結果

リサーチクエスチョン

• RQ1 ノイズ除去やデブラーなどの画像復元タスクで、単純な単一段階のUNetベースのベースラインがSOTA性能を達成できるか？
• RQ2 画像復元でSOTA性能を達成するために非線形活性化関数は必要か？
• RQ3 先行手法を上回るのに十分な最小限の構成要素（正規化、GELU/CA、簡易アテンション）は何か？
• RQ4 提案された非線形活性化なしネットワーク（NAFNet）は、RGB/RAWノイズ除去、デブラー、JPEGアーティファクト復元など、多様な復元タスクでどのように性能を示すか？

主な発見

• 低計算コストでSIDDノイズ除去とGoProデブラーにおいて従来のSOTA手法を上回る単純なベースライン（GoProで33.69 dB、SIDDで40.30 dBなど）。
• 非線形活性化（GELU）をSimpleGateに置換し、Simplified Channel Attentionを使用することで性能を維持または向上させ、非線形活性化なしのネットワーク（NAFNet）を可能にする。
• NAFNetは、RestormerやMPRNet系と比較して、競合的または優れたPSNR/SSIMを、同等または低いMACsで達成する。
• ブロック数を増やすとある点まで性能が向上する（36ブロックでPSNRが向上、72ブロックは限界に達し、待機遅延が増大）。
• NAFNetはRGBノイズ除去、デブラー、RAWノイズ除去、JPEGアーティファクト復元タスク全体でSOTAまたはほぼSOTAの結果を出す。