[논문 리뷰] LAPAR: Linearly-Assembled Pixel-Adaptive Regression Network for Single Image Super-Resolution and Beyond

Wenbo Li, Kun Zhou외 4명|arXiv (Cornell University)|2021. 05. 21.

Advanced Image Processing Techniques참고 문헌 50인용 수 107

한 줄 요약

LAPAR는 SISR을 수행하기 위해 사전에서 필터를 조합하는 가볍고 픽셀 단위로 적응하는 회귀 방식이며, 노이즈 제거 및 JPEG 디블로킹으로도 확장할 수 있다.

ABSTRACT

Single image super-resolution (SISR) deals with a fundamental problem of upsampling a low-resolution (LR) image to its high-resolution (HR) version. Last few years have witnessed impressive progress propelled by deep learning methods. However, one critical challenge faced by existing methods is to strike a sweet spot of deep model complexity and resulting SISR quality. This paper addresses this pain point by proposing a linearly-assembled pixel-adaptive regression network (LAPAR), which casts the direct LR to HR mapping learning into a linear coefficient regression task over a dictionary of multiple predefined filter bases. Such a parametric representation renders our model highly lightweight and easy to optimize while achieving state-of-the-art results on SISR benchmarks. Moreover, based on the same idea, LAPAR is extended to tackle other restoration tasks, e.g., image denoising and JPEG image deblocking, and again, yields strong performance. The code is available at https://github.com/dvlab-research/Simple-SR.

연구 동기 및 목표

• 실용적 효율성을 위한 낮은 모델 복잡도로 고품질 SISR을 촉진한다.
• 필터 기저의 사전(dictionary) 위에서 계수를 회귀하는 선형으로 조합된 픽셀 적응 회귀 프레임워크를 제안한다.
• 사전에 정의된 Gaussian 및 DoG 필터 사전이 적은 매개변수로도 경쟁력 있거나 우수한 SR 결과를 낼 수 있음을 증명한다.
• 같은 프레임워크가 강력한 성능으로 노이즈 제거 및 JPEG 디블로킹으로 확장될 수 있음을 보인다.

제안 방법

• LR에서 HR로의 매핑을 미리 정의된 기본 필터의 사전 위의 선형 계수 회귀로 표현한다.
• 가벼운 네트워크(LAPARnet)를 통해 각 픽셀에 대한 공간적으로 변화하는 조립 계수를 학습한다.
• 픽셀 적응 필터를 F_i = Phi_i D로 조립하며, 여기서 D는 L개의 필터(k x k)로 구성된 고정된 사전이다.
• y_hat_i = Phi_i D B_i^T로 고해상도 픽셀을 예측하는데, B_i는 bicubic 업샘플링된 이미지에서 i번째 픽셀 주위의 로컬 패치이다.
• 학습 안정화를 위해 최적화에 Charbonnier 손실을 사용한다.
• 사전 설계는 구조와 에지를 포착하기 위해 72개의 Gaussian 및 DoG 필터를 사용하며, 필터는 합이 1이 되도록 정규화한다.

실험 결과

연구 질문

• RQ1 선형으로 조합된 픽셀 적응 회귀 프레임워크가 전통적인 SR 모델보다 현저히 적은 매개변수로 최첨단 성능을 달성할 수 있는가?
• RQ2 Gaussian 및 DoG와 같은 간단한 필터의 사전이 다중 해상도에서 다양한 이미지 구조를 포착하는 데 충분한가?
• RQ3 LAPAR 프레임워크를 denoising 및 JPEG deblocking과 같은 다른 복원 작업으로 확장하되 성능 손실 없이 가능할까?

주요 결과

• LAPAR-A는 여러 벤치마크에서 가벼운 SR 방법 중 최첨단 결과를 달성했으며 더 적은 매개변수와 Multiply-Adds를 기록한다.
• 72-필터 Gaussian/DoG 사전은 Set5/B100 스케일에서 PSNR 측면에서 더 작은 사전 및 무작위 또는 RAISR 기반 필터를 넘어선다.
• LAPAR는 x2, x3, x4 해상도에서도 경쟁력 있는 SR 성능을 유지하면서도 모델 크기를 크게 줄인다(예: x4일 때 LAPAR-A 약 0.66M 매개변수).
• LAPAR 변형은 빠른 추론을 제공한다(예: 1280x720 x4에서 RTX 2080Ti 기준 22.2–37.3 ms).
• 이 접근법은 이미지 노이즈 제거 및 JPEG 디블로킹으로도 효과적으로 확장되며, 색상과 구조를 보존하고 표준 세트에서 PSNR/SSIM 면에서 일부 기준선보다 우수한 성능을 보인다.