[논문 리뷰] Structure-Preserving Super Resolution with Gradient Guidance

Cheng Ma, Yongming Rao외 4명|arXiv (Cornell University)|2020. 03. 29.

Advanced Image Processing Techniques참고 문헌 45인용 수 38

한 줄 요약

GAN 기반 단일 이미지 초해상도 방법(SPSR)은 기하학적 구조를 보존하기 위해 그라디언트 가지(branch)와 그라디언트 손실을 사용하면서도 높은 지각적 품질과 경쟁력 있는 PSNR/SSIM을 달성합니다.

ABSTRACT

Structures matter in single image super resolution (SISR). Recent studies benefiting from generative adversarial network (GAN) have promoted the development of SISR by recovering photo-realistic images. However, there are always undesired structural distortions in the recovered images. In this paper, we propose a structure-preserving super resolution method to alleviate the above issue while maintaining the merits of GAN-based methods to generate perceptual-pleasant details. Specifically, we exploit gradient maps of images to guide the recovery in two aspects. On the one hand, we restore high-resolution gradient maps by a gradient branch to provide additional structure priors for the SR process. On the other hand, we propose a gradient loss which imposes a second-order restriction on the super-resolved images. Along with the previous image-space loss functions, the gradient-space objectives help generative networks concentrate more on geometric structures. Moreover, our method is model-agnostic, which can be potentially used for off-the-shelf SR networks. Experimental results show that we achieve the best PI and LPIPS performance and meanwhile comparable PSNR and SSIM compared with state-of-the-art perceptual-driven SR methods. Visual results demonstrate our superiority in restoring structures while generating natural SR images.

연구 동기 및 목표

• 지각 기반 SR 방법에서 기하학적 왜곡을 줄일 필요성을 제시합니다.
• 오프-더- shelf SR 네트워크에 호환 가능한 그라디언트 유도, 구조 보존 SR 프레임워크를 제안합니다.
• PSNR/SSIM를 유지하면서 지각 품질(PI/LPIPS)을 향상합니다.
• LR 그라디언트 맵을 HR로 변환하고 SR 재구성을 유도하는 그라디언트 가지를 도입합니다.
• RECOVERY된 영상에 대해 2차 일관성을 부과하는 그라디언트 손실을 도입합니다.

제안 방법

• SR 가지와 그라디언트 가지로 구성된 이중 가지 생성기.
• 그라디언트 가지는 SR 가지의 특징을 priors로 활용해 LR 그라디언트 맵을 HR로 변환합니다.
• RRDB 기반 융합 블록을 통해 그라디언트 가지의 특징과 SR 특징을 주의하게 융합합니다.
• L1, 지각적 손실, 적대적 손실 등 표준 영상 공간 손실과 더불어 그라디언트 공간 손실을 사용합니다.
• 그라디언트 손실은 SR와 HR의 픽셀 단위 그라디언트 맵 손실(L1)과 그라디언트 망(D_GM) 손실을 포함합니다.
• 일반적인 디자인으로 오프 더 셸프 SR 네트워크와의 통합이 가능하도록 설계되었습니다.

실험 결과

연구 질문

• RQ1 GAN 기반 SR에서 기하학적 구조를 보존하기 위해 그라디언트 정보를 어떻게 활용할 수 있는가?
• RQ2 그라디언트 유도 SR 프레임워크가 고품질 지각적 품질과 경쟁력 있는 PSNR/SSIM을 유지하면서 구조적 왜곡을 감소시키는가?
• RQ3 표준 벤치마크에서 그라디언트 가지와 그라디언트 손실이 PV/LPIPS 및 구조적 충실도에 미치는 영향은 어떠한가?

주요 결과

• SPSR은 테스트 데이터셋에서 PI 및 LPIPS에서 최상의 성능을 달성하면서 PSNR 및 SSIM도 경쟁력을 유지합니다.
• 정성적 결과에서 SPSR은 다른 지각 기반 SR 방법보다 구조와 그라디언트를 더 잘 보존합니다.
• 그라디언트 가지와 그라디언트 손실을 함께 사용하면 ESRGAN 대비 더 선명하고 구조를 더 잘 보존하는 SR 결과를 얻습니다.
• 삭제 시(그라디언트 가지 또는 그라디언트 손실 제거) 지각 지표와 구조 보존이 저하됩니다.
• 그라디언트 가지는 LR 그라디언트에서 HR과 유사한 그라디언트 맵을 회복하여 SR이 기하학적 충실도를 유지하도록 유도합니다.