[논문 리뷰] Toward Real-World Single Image Super-Resolution: A New Benchmark and A New Model

Jianrui Cai, Hui Zeng외 3명|arXiv (Cornell University)|2019. 04. 01.

Advanced Image Processing Techniques참고 문헌 52인용 수 52

한 줄 요약

논문은 RealSR를 구축합니다. 서로 다른 초점 거리에서 촬영된 정렬된 HR-LR 이미지 쌍이 포함된 실세계 SISR 데이터셋과, 시뮬레이션 열화로 학습된 모델보다 실세계 SISR을 더 잘 제공하는 Laplacian 피라미드 커널 예측 네트워크 LP-KPN을 제안합니다.

ABSTRACT

Most of the existing learning-based single image superresolution (SISR) methods are trained and evaluated on simulated datasets, where the low-resolution (LR) images are generated by applying a simple and uniform degradation (i.e., bicubic downsampling) to their high-resolution (HR) counterparts. However, the degradations in real-world LR images are far more complicated. As a consequence, the SISR models trained on simulated data become less effective when applied to practical scenarios. In this paper, we build a real-world super-resolution (RealSR) dataset where paired LR-HR images on the same scene are captured by adjusting the focal length of a digital camera. An image registration algorithm is developed to progressively align the image pairs at different resolutions. Considering that the degradation kernels are naturally non-uniform in our dataset, we present a Laplacian pyramid based kernel prediction network (LP-KPN), which efficiently learns per-pixel kernels to recover the HR image. Our extensive experiments demonstrate that SISR models trained on our RealSR dataset deliver better visual quality with sharper edges and finer textures on real-world scenes than those trained on simulated datasets. Though our RealSR dataset is built by using only two cameras (Canon 5D3 and Nikon D810), the trained model generalizes well to other camera devices such as Sony a7II and mobile phones.

연구 동기 및 목표

• 실세계 열화와 시뮬레이션된 SISR 학습 데이터 간의 격차를 해결한다.
• Ground-truth HR-LR 쌍을 갖춘 실세계 SISR 데이터셋을 제공한다.
• 공간적으로 변하는 열화에 적합한 효율적 픽셀 단위 커널 예측 모델을 제안한다.
• 카메라 간 일반화 및 실제 이미지에 대한 일반화 성능을 평가한다.

제안 방법

• 다른 초점 거리로 같은 장면을 촬영한 두 대의 DSLR로 RealSR을 생성한다.
• HR-LR 쌍을 정렬하기 위해 휘도 보정을 포함하는 픽셀 단위 이미지 정합 방법을 개발한다.
• 다중 피라미드 레벨에서 픽셀별 커널을 예측하는 Laplacian 피라미드 기반 Kernel Prediction Network(LP-KPN)를 도입한다.
• RealSR에서 모델을 학습하고 시뮬레이션 열화(BD, MD)로 학습된 모델과 비교한다.
• Y 채널의 L2 손실을 사용하고 RealSR 테스트 세트에서 PSNR/SSIM으로 평가한다.

실험 결과

연구 질문

• RQ1 실세계 열화를 가진 실세계 SISR 데이터셋이 시뮬레이션 열화 데이터셋에 비해 실제 이미지의 SR 성능을 개선할 수 있는가?
• RQ2 픽셀별 커널 예측 방법(LP-KPN)이 실세계의 공간적으로 변하는 열화에 대해 효율성과 정확성 이점을 제공하는가?
• RQ3 RealSR에서 학습된 모델이 다른 카메라와 데이터셋 외부 이미지(예: 휴대폰, 다른 브랜드)에 대해 얼마나 잘 일반화하는가?

주요 결과

• RealSR에서 학습된 모델이 BD/MD로 학습된 모델보다 RealSR 테스트에서 더 나은 성능을 보이며, x2에서 약 1.0 dB PSNR 향상 및 x3, x4에서도 뚜렷한 이득이 있다.
• LP-KPN은 RCAN 및 다른 베이스라인 대비 계산 비용이 낮으면서 여러 스케일에서 최상의 PSNR/SSIM을 달성한다.
• LP-KPN은 크로스-카메라 테스트에서 일반화가 잘 되며, 인-카메라 테스트와 유사한 PSNR 차이를 보인다(약 0.3 dB).
• 크로스-카메라 결과에서 RealSR로 학습된 모델이 다른 카메라 유형(Canon↔Nikon)에서도 성능을 유지한다.
• LP-KPN은 RCAN(400개 이상)보다 적은 파라미터(46 conv 레이어)로도 경쟁력 있는 성능을 제공한다.