[논문 리뷰] Simple Baselines for Image Restoration

Liangyu Chen, Xiaojie Chu외 2명|arXiv (Cornell University)|2022. 04. 10.

Image and Signal Denoising Methods인용 수 25

한 줄 요약

이 논문은 적은 인터- 및 인-블록 복잡성으로 SOTA를 능가하는 간단하고 고성능의 이미지 복원 baseline을 제시하고, 비선형 활성화 제거를 통해 비선형 활성화 없는 네트워크(NAFNet)를 도입한다.

ABSTRACT

Although there have been significant advances in the field of image restoration recently, the system complexity of the state-of-the-art (SOTA) methods is increasing as well, which may hinder the convenient analysis and comparison of methods. In this paper, we propose a simple baseline that exceeds the SOTA methods and is computationally efficient. To further simplify the baseline, we reveal that the nonlinear activation functions, e.g. Sigmoid, ReLU, GELU, Softmax, etc. are not necessary: they could be replaced by multiplication or removed. Thus, we derive a Nonlinear Activation Free Network, namely NAFNet, from the baseline. SOTA results are achieved on various challenging benchmarks, e.g. 33.69 dB PSNR on GoPro (for image deblurring), exceeding the previous SOTA 0.38 dB with only 8.4% of its computational costs; 40.30 dB PSNR on SIDD (for image denoising), exceeding the previous SOTA 0.28 dB with less than half of its computational costs. The code and the pre-trained models are released at https://github.com/megvii-research/NAFNet.

연구 동기 및 목표

• SOTA 방법을 능가할 수 있는 저복잡도 이미지 복원 baseline의 필요성과 동기를 제시한다.
• 노이즈 제거와 모션 흐림 제거에서 고성능에 필수적인 구성 요소를 조사한다.
• 이 도메인에서 SOTA 결과를 얻기 위해 비선형 활성화 함수가 필요하지 않을 수 있음을 보인다.
• 비선형 활성화가 없는 단순화된 네트워크(NAFNet)를 도출하고 검증한다.
• 노이즈 제거, 디블러링, JPEG 아티팩트 시나리오 전반에 걸친 포괄적 애블레이션을 제공하고 다양성을 입증한다.

제안 방법

• 블록 간 복잡성을 최소화하기 위해 단일 스테이지 UNet 유사 아키텍처를 채택한다.
• 합성곱, 정규화, 스킵 연결로 구성된 일반적인 블록을 만들고 구성 요소(GELU, CA)를 추가하는 것에 대한 애블레이션 연구를 수행한다.
• GELU를 SimpleGate로, CA를 Simplified Channel Attention으로 대체하여 비선형 활성화 없는 네트워크(NAFNet)를 구성한다.
• GLU가 GELU의 일반화이며 비선형 활성화가 곱셈 게이트로 대체될 수 있음을 보인다.
• SIDD(노이즈 제거) 및 GoPro(디블러링)에서 약 ~16 GMAC 예산으로 baseline과 NAFNet을 SOTA 방법과 비교한다.

실험 결과

연구 질문

• RQ1 노이즈 제거 및 디블러링과 같은 이미지 복원 작업에서 간단하고 단일 스테이지 UNet 기반의 baseline이 SOTA 성능을 달성할 수 있는가?
• RQ2 이미지 복원에서 SOTA 성능을 달성하기 위해 비선형 활성화 함수가 필요한가?
• RQ3 이전 방법을 능가하기에 충분한 최소 구성 요소(정규화, GELU/CA, 그리고 간단한 주의 메커니즘)는 무엇인가?
• RQ4 제안된 비선형 활성화 없는 네트워크(NAFNet)가 다양한 복원 작업(RGB/RAW 노이즈 제거, 모션 흐림 제거, JPEG 아티팩트 복원)에서 어떻게 성능을 보이는가?

주요 결과

• 단순한 baseline이 낮은 계산 비용으로 SIDD 노이즈 제거 및 GoPro 디블러링에서 이전 SOTA를 능가한다(예: GoPro 33.69 dB, SIDD 40.30 dB).
• 비선형 활성화(GELU)를 SimpleGate로 대체하고 Simplified Channel Attention을 사용하면 성능이 보존되거나 향상되어 비선형 활성화 없는 네트워크(NAFNet)가 가능하다.
• NAFNet은 Restormer 및 MPRNet 변형과 비교해 PSNR/SSIM이 경쟁적이거나 우수하고 MAC가 비슷하거나 더 낮다.
• 블록 수를 늘리면 어느 정도까지 성능이 향상되며(36블록이 PSNR 증가), 72블록은 수익이 감소하고 대기 시간이 길어진다.
• NAFNet은 RGB 노이즈 제거, 디블러링, RAW 노이즈 제거, JPEG 아티팩트 복원 작업에서 SOTA 또는 근접한 SOTA 결과를 제공합니다.