[논문 리뷰] Meta-SR: A Magnification-Arbitrary Network for Super-Resolution

Xuecai Hu, Haoyuan Mu외 4명|arXiv (Cornell University)|2019. 03. 03.

Advanced Image Processing Techniques참고 문헌 35인용 수 45

한 줄 요약

메타-SR은 스케일과 좌표에 조건화된 픽셀당 필터 가중치를 예측하는 Meta-Upscale Module를 사용하여 임의의(비정수 포함) 스케일 팩터에서 초해상도를 수행할 수 있는 단일 모델을 도입합니다.

ABSTRACT

Recent research on super-resolution has achieved great success due to the development of deep convolutional neural networks (DCNNs). However, super-resolution of arbitrary scale factor has been ignored for a long time. Most previous researchers regard super-resolution of different scale factors as independent tasks. They train a specific model for each scale factor which is inefficient in computing, and prior work only take the super-resolution of several integer scale factors into consideration. In this work, we propose a novel method called Meta-SR to firstly solve super-resolution of arbitrary scale factor (including non-integer scale factors) with a single model. In our Meta-SR, the Meta-Upscale Module is proposed to replace the traditional upscale module. For arbitrary scale factor, the Meta-Upscale Module dynamically predicts the weights of the upscale filters by taking the scale factor as input and use these weights to generate the HR image of arbitrary size. For any low-resolution image, our Meta-SR can continuously zoom in it with arbitrary scale factor by only using a single model. We evaluated the proposed method through extensive experiments on widely used benchmark datasets on single image super-resolution. The experimental results show the superiority of our Meta-Upscale.

연구 동기 및 목표

• 사용자가 고정된 정수뿐만 아니라 임의의 스케일로 이미지를 확대할 수 있는 실용적 SISR를 동기 부여한다.
• 여러 스케일별 모델을 유지하지 않고 임의 스케일 SR이 가능한 단일 모델을 개발한다.
• 업샘플링 중 컨볼루션 필터의 규모별 가중치를 예측하기 위해 메타-러닝을 활용한다.

제안 방법

• 전통적 업샘플링을 대체하는 Meta-Upscale Module를 도입하여 출력 픽셀당 필터 가중치를 예측함으로써 기존의 업샘플링을 대체한다.
• Location Projection을 사용하여 SR 픽셀을 LR 좌표로 매핑한다( floor(i/r), floor(j/r) ).
• 스케일-좌표 벡터 v_ij를 입력으로 하는 가중치 예측 네트워크 φ를 사용하여 픽셀당 가중치 W(i,j)를 예측한다.
• 간단한 특징 매핑 Φ(FLR(i',j'), W(i,j)) = FLR(i',j') · W(i,j)를 통해 LR 특징을 SR 픽셀로 매핑한다.
• Meta-Upscale를 특징 학습 모듈(예: RDN)과 통합하여 Meta-SR 네트워크를 구성하고, 임의의 r in (1,4]에 대해 엔드투엔드로 학습 가능하게 한다.
• DIV2K에서 파생된 데이터에 대해 L1 손실로 학습하고 Set14, B100, Manga109, 및 DIV2K에서 평가한다.

실험 결과

연구 질문

• RQ1 하나의 단일 모델이 별도 스케일별 가중치를 저장하지 않고도 임의의 스케일 인자(비정수 포함)에 대해 SR을 학습할 수 있는가?
• RQ2 픽셀당 업스케일 필터를 동적으로 예측하는 것이 고정 업스케일링 모듈에 비해 다양한 스케일에 걸쳐 SR 품질을 향상시키는가?
• RQ3 표준 SR 벤치마크에서 PSNR/SSIM를 평가할 때 Meta-Upscale의 성능이 스케일별 베이스라인에 비해 어떤가?
• RQ4 전통적 업샘플링 모듈과 비교할 때 Meta-Upscale 모듈의 계산적 트레이드오프는 무엇인가?

주요 결과

• Meta-SR은 여러 벤치마크에서 스케일별 베이스라인과 비교해 경쟁력 있거나 우수한 PSNR/SSIM을 달성한다.
• 고정 업샘플링을 Meta-Upscale로 대체하면 각 스케일별로 별도의 모델을 학습하는 것보다 하나의 모델이 임의의 스케일을 더 효율적으로 처리할 수 있다.
• Meta-Upscale 모듈은 각 출력 픽셀에 대한 합성 가중치를 생성하기 위해 가벼운 가중치 예측 네트워크(두 개의 FC 계층과 ReLU 활성화)를 사용한다.
• 비정수 스케일의 경우 Location Projection은 픽셀별로 분수 수용을 허용하는 동적 동작을 가능하게 한다.
• 다양한 스케일로 확대할 때 여러 개의 전용 SR 모델을 재실행하는 것보다 Meta-SR의 Meta-Upscale이 더 빠르다.