[논문 리뷰] Fast and Accurate Image Super-Resolution with Deep Laplacian Pyramid Networks

Wei‐Sheng Lai, Jia‐Bin Huang외 2명|arXiv (Cornell University)|2017. 10. 04.

Advanced Image Processing Techniques참고 문헌 48인용 수 53

한 줄 요약

본 논문은 LapSRN을 소개합니다. 이는 딥 Laplacian 피라미드 네트워크로서, 공유 매개변수와 강건한 손실을 이용해 다중 피라미드 레벨에서 잔차를 학습하며 점진적이고 빠르며 정확한 단일 이미지 초해상화를 구현합니다.

ABSTRACT

Convolutional neural networks have recently demonstrated high-quality reconstruction for single image super-resolution. However, existing methods often require a large number of network parameters and entail heavy computational loads at runtime for generating high-accuracy super-resolution results. In this paper, we propose the deep Laplacian Pyramid Super-Resolution Network for fast and accurate image super-resolution. The proposed network progressively reconstructs the sub-band residuals of high-resolution images at multiple pyramid levels. In contrast to existing methods that involve the bicubic interpolation for pre-processing (which results in large feature maps), the proposed method directly extracts features from the low-resolution input space and thereby entails low computational loads. We train the proposed network with deep supervision using the robust Charbonnier loss functions and achieve high-quality image reconstruction. Furthermore, we utilize the recursive layers to share parameters across as well as within pyramid levels, and thus drastically reduce the number of parameters. Extensive quantitative and qualitative evaluations on benchmark datasets show that the proposed algorithm performs favorably against the state-of-the-art methods in terms of run-time and image quality.

연구 동기 및 목표

• 바이큐빅 보간에 의한 사전 업샘플링 없이 빠르고 정확한 단일 이미지 SR을 목표로 한다.
• LR 입력으로부터 HR 이미지를 재구성하기 위한 점진적 Laplacian 피라미드 프레임워크를 제안한다.
• 용량을 늘리면서 모델 크기를 줄이기 위해 매개변수 공유 및 재귀 블록을 설계한다.
• 강건 손실(Charbonnier)과 심층 감독을 사용하여 재구성 품질을 향상시킨다.

제안 방법

• 특징 추출 분기와 이미지 재구성 분기를 이용해 다중 피라미드 레벨에서 점진적으로 서브대역 잔차를 재구성한다.
• LR 공간에서 직접 특성을 추출하고 전치합성곱으로 특징 맵을 업샘플링하여 레벨별 잔차를 예측한다.
• 피라미드 레벨 전반과 레벨 간 재귀 블록을 통해 네트워크 매개변수를 공유하여 매개변수를 대폭 줄인다.
• 각 피라미드 레벨에서 거칠은 재구성에서 미세한 재구성으로 가이드를 주기 위해 Charbonnier 손실과 다중 스케일 심층 감독을 사용한다.
• 다중 스케일 데이터(2x, 4x, 8x)로 학습하여 스케일 간 상관관계를 활용하고 일반화를 향상시킨다.

실험 결과

연구 질문

• RQ1 Laplacian 피라미드 기반 CNN이 LR 입력으로부터 HR 이미지를 단일 단계 업샘플링 방식보다 더 효율적으로 재구성할 수 있는가?
• RQ2 Charbonnier 손실을 이용한 점진적 다중 수준 감독이 SR 품질을 향상시키고 L2 손실에 비해 왜곡을 줄이는가?
• RQ3 매개변수 공유와 재귀 블록이 SR 성능과 모델 크기에 미치는 영향은 무엇인가?
• RQ4 하나의 다중 스케일 모델이 여러 업샘플링 요인(2x, 4x, 8x)을 효과적으로 처리할 수 있는가?

주요 결과

• LapSRN은 VDSR, DRCN, DRRN 등을 포함한 여러 CNN 기반 SR 모델보다 더 빠른 런타임을 달성하면서 더 높은 재구성 품질을 제공한다.
• 매개변수 공유는 피라미드 레벨 간 네트워크 매개변수를 약 73% 감소시키면서 유사하거나 향상된 성능을 제공한다.
• 재귀적이고 깊게 쌓인 블록은 공유 가중치로 매개변수 증가에 비례하지 않게 더 깊은 네트워크를 가능하게 한다.
• 각 피라미드 레벨의 다중 스케일 감독이 점진적 재구성을 가이드하고 공간적 앨리어싱 왜곡을 감소시킨다.
• 훈련 시 Charbonnier 손실을 사용하면 L2 손실보다 더 날카롭고 충실한 SR 결과를 얻고 수렴 속도가 빠르다.