[논문 리뷰] Deep Laplacian Pyramid Networks for Fast and Accurate Super-Resolution

Wei‐Sheng Lai, Jia‐Bin Huang외 2명|arXiv (Cornell University)|2017. 04. 12.

Advanced Image Processing Techniques참고 문헌 32인용 수 8

한 줄 요약

이 논문은 전치 컨볼루션을 사용해 다중 척도에서 하위대역 잔차를 예측함으로써 점진적으로 고해상도 이미지를 복원하는 딥 라플라시안 피라미드 네트워크인 LapSRN을 제안한다. 이 방법은 이중 보간을 학습 가능한 전치 컨볼루션으로 대체하고, 강력한 차르보니에 손실 함수를 사용해 훈련함으로써 최신 기술 수준의 정확도와 속도를 달성하며, 단일 순방향 전파에서 실시간 성능과 다중 척도 예측을 가능하게 한다.

ABSTRACT

Convolutional neural networks have recently demonstrated high-quality reconstruction for single-image super-resolution. In this paper, we propose the Laplacian Pyramid Super-Resolution Network (LapSRN) to progressively reconstruct the sub-band residuals of high-resolution images. At each pyramid level, our model takes coarse-resolution feature maps as input, predicts the high-frequency residuals, and uses transposed convolutions for upsampling to the finer level. Our method does not require the bicubic interpolation as the pre-processing step and thus dramatically reduces the computational complexity. We train the proposed LapSRN with deep supervision using a robust Charbonnier loss function and achieve high-quality reconstruction. Furthermore, our network generates multi-scale predictions in one feed-forward pass through the progressive reconstruction, thereby facilitates resource-aware applications. Extensive quantitative and qualitative evaluations on benchmark datasets show that the proposed algorithm performs favorably against the state-of-the-art methods in terms of speed and accuracy.

연구 동기 및 목표

• 기존 초해상도 방법이 사전 정의된 업샘플링(예: 이중 보간)에 의존함으로써 계산 비용이 증가하고 아티팩트가 발생하는 문제를 해결하기 위해.
• ℓ₂ 손실 함수가 다중 모odal 고해상도 패치 분포를 모델링하지 못해 재구성된 이미지가 흐릿해지는 문제를 해결하기 위해.
• 단일 추론 단계에서 다중 척도의 중간 예측을 생성함으로써 유연하고 자원 인식 초해상도를 가능하게 하기 위해.
• 강력한 차르보니 손실 함수를 통한 엔드 투 엔드 딥 서포비전을 통해 네트워크 용량과 훈련 안정성을 향상시키기 위해.

제안 방법

• 네트워크는 라플라시안 피라미드 프레임워크 내에서 서브넷의 연쇄 구조를 사용하며, 각 수준에서 점진적으로 더 세밀한 이미지 척도에 대한 고주파 잔차를 예측한다.
• 각 수준에서 컨볼루션 레이어는 저해상도 특징 맵에서 특징을 추출한 후, 다음으로 더 세밀한 해상도로 업샘플링하기 위해 전치 컨볼루션을 적용한다.
• 예측된 잔차는 각 수준에서 업샘플된 이미지에 더해져 점진적인 정밀도 향상으로 고해상도 출력을 재구성한다.
• 모델은 엔드 투 엔드로 훈련되며, 모든 피라미드 수준에서 차르보니 손실 함수를 적용하여 이상치에 대한 강건성 향상과 흐림 감소를 도모한다.
• 아키텍처는 다중 척도 추론을 지원한다: 고수준 잔차 예측을 건너뛰어 동일한 모델로 2× 또는 4× 초해상도를 수행할 수 있다.
• 이중 보간을 위한 사전 처리를 피함으로써 계산 오버헤드를 감소시키고 더 빠른 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 딥 컨volution 네트워크 기반 초해상도 방법이 사전 정의된 업샘플링에 의존하지 않고도 높은 정확도와 실시간 추론을 동시에 달성할 수 있는가?
• RQ2 강력한 손실 함수(차르보니)를 사용한 엔드 투 엔드 훈련이 ℓ₂ 손실 함수에 비해 흐림을 줄이고 인지적 품질을 향상시키는 데 얼마나 효과적인가?
• RQ3 점진적이고 다중 척도 재구성 프레임워크는 다양한 계산 예산에 맞는 민감한 자원 인식 초해상도를 가능하게 하는가?
• RQ4 이중 보간을 학습 가능한 전치 컨볼루션으로 대체함으로써 재구성 품질 향상과 아티팩트 감소가 이루어지는가?

주요 결과

• 제안된 LapSRN은 벤치마크 데이터셋에서 PSNR와 SSIM 모두 최신 기술 수준의 성능을 달성하여, SRCNN, VDSR, DRCN, FSRCNN을 초월하는 정확도를 확보했다.
• LapSRN은 SRCNN과 VDSR보다 빠르게 작동하여, 1200×800 영상 프레임에 대해 8× 초해상도에서 30 FPS 이상의 실시간 추론 성능를 달성했으며, SRCNN과 VDSR는 각각 8.43 FPS와 1.98 FPS에 머물렀다.
• Set14 데이터셋에서 4× 초해상도를 수행한 결과, LapSRN은 PSNR 33.78 dB를 기록하여 FSRCNN(33.67 dB)과 VDSR(33.54 dB)를 모두 앞섰다.
• JPEG 압축 아티팩트가 있는 실제 사진에서도 고해상도이고 선명한 결과를 생성했으며, 글자나 난간 같은 세부 구조를 정확히 재현했고, VDSR과 FSRCNN을 모두 능가했다.
• 점진적인 아키텍처 덕분에 다중 척도 예측이 가능하다: 동일한 모델을 사용해 피라미드 수준에서 다른 잔차 예측을 선택적으로 계산함으로써 2×, 4×, 또는 8× 초해상도를 수행할 수 있다.
• 비록 장점이 많지만, 입력의 저해상도 이미지가 구조적 내용을 충분히 갖추고 있지 않은 경우(예: 매우 흐릿하거나 대trast가 낮은 영역), 세밀한 구조를 복원하지 못하는 경우가 있다.