[논문 리뷰] Super-Resolution with Deep Adaptive Image Resampling

Xu Jia, Hong Chang외 1명|arXiv (Cornell University)|2017. 12. 18.

Advanced Image Processing Techniques참고 문헌 38인용 수 8

한 줄 요약

이 논문은 적응형 이미지 리샘플링을 사용한 단일 및 동시 이미지 초해상도 복원을 위한 딥러닝 프레임워크를 제안한다. 여기서 합성곱 신경망은 공간적으로 변하는 보간 커널을 학습한다. 고정된 보간 방식을 학습 가능한, 특징에 의존하는 커널로 대체함으로써, 특히 미세한 디테일과 텍스처를 유지하는 데 있어 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Deep learning based methods have recently pushed the state-of-the-art on the problem of Single Image Super-Resolution (SISR). In this work, we revisit the more traditional interpolation-based methods, that were popular before, now with the help of deep learning. In particular, we propose to use a Convolutional Neural Network (CNN) to estimate spatially variant interpolation kernels and apply the estimated kernels adaptively to each position in the image. The whole model is trained in an end-to-end manner. We explore two ways to improve the results for the case of large upscaling factors, and propose a recursive extension of our basic model. This achieves results that are on par with state-of-the-art methods. We visualize the estimated adaptive interpolation kernels to gain more insight on the effectiveness of the proposed method. We also extend the method to the task of joint image filtering and again achieve state-of-the-art performance.

연구 동기 및 목표

• 고정된 보간 방식의 한계를 해결하기 위해 적응형, 콘텐츠 인식형 리샘플링 커널을 학습하는 것.
• 동적 보간 가중치를 통해 국소적 이미지 구조를 모델링하여 이미지 복원 품질을 향상시키는 것.
• 지침(예: 깊이 맵)을 사용한 깊이 이미지 향상과 같은 동시 초해상도 작업으로 접근법을 확장하는 것.
• 학습된 커널이 기존 방법보다 가장자리와 텍스처를 더 잘 유지할 수 있음을 입증하는 것.

제안 방법

• 특징을 추출하고 적응형 보간 커널을 예측하기 위해 잔차 블록을 갖춘 U-Net 유사 인코더-디코더 네트워크를 사용한다.
• 특징 맵을 목표 해상도로 상향 변환하기 위해 서브픽셀 합성곱 레이어를 사용한 후, 예측된 커널을 적용하는 학습 가능한 리샘플링 레이어를 적용한다.
• 각 출력 픽셀에 대해 $5\times5$ 보간 커널을 예측하지만, 희소성 때문에 중심 $3\times3$ 영역만 시각화된다.
• 동시 초해상도 작업을 위해 지침 특징(예: 깊이 맵에서 유래한 것)을 입력과 함께 결합하여 커널 예측를 조건화한다.
• 고주파 수복 복원을 최적화하기 위해 인지적 손실과 콘텐츠 손실을 사용하여 엔드 투 엔드로 모델을 훈련시킨다.
• 표준 최소거리 또는 이차 보간 방식을 대체하기 위해 학습 가능한, 공간적으로 변하는 합성곱 레이어를 통해 적응형 리샘플링을 적용한다.

실험 결과

연구 질문

• RQ1 학습된 공간적 적응형 보간 커널이 초해상도에서 고정된 보간 방식을 능가할 수 있는가?
• RQ2 적응형 커널은 고해상도 이미지에서 미세한 텍스처와 가장자리의 복원에 어떻게 영향을 미치는가?
• RQ3 동일한 프레임워크를 깊이 맵과 같은 지침을 활용한 동시 초해상도 작업으로 확장할 수 있는가?
• RQ4 예측된 커널은 다양한 이미지 콘텐츠와 구조에 따라 어떻게 변화하는가?

주요 결과

• 제안된 방법은 표준 초해상도 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, 특히 PSNR 및 LPIPS 지표에서 뛰어난 성능을 보였다.
• 시각화 결과 예측된 커널은 희소하고 국소화되어 있으며, 중심 부근에서 강한 반응을 보여, 관련 이미지 영역에 집중된 주의를 나타낸다.
• 모델은 가장자리와 텍스처를 적응적으로 강조함으로써 기준 방법 대비 더 선명한 출력을 생성하는 것을 학습하였다.
• 동시 초해상도 작업에서는 지침 특징가 커널 예측을 향상시켜 더 정확한 깊이 향상 이미지 복원을 가능하게 하였다.