[논문 리뷰] Image Super-Resolution by Neural Texture Transfer

Zhifei Zhang, Zhaowen Wang외 2명|arXiv (Cornell University)|2019. 03. 03.

Advanced Image Processing Techniques참고 문헌 35인용 수 13

한 줄 요약

이 논문은 참조 이미지에서 다중 척도 신경 질감 전이를 통해 고해상도 세부 정보를 향상시키는 엔드 투 엔드 딥 러닝 방법인 SRNTT를 제안한다. 픽셀 공간이 아닌 신경 공간에서의 다중 수준 특징 매칭을 활용함으로써, 의미적 유사성에 기반해 유연하게 질감을 전이하며, 상태의 최고 성능을 달성하고, 관련성이 없는 참조가 있을 경우에도 SISR 수준으로 부드럽게 성능이 떨어지는 특성을 보인다.

ABSTRACT

Due to the significant information loss in low-resolution (LR) images, it has become extremely challenging to further advance the state-of-the-art of single image super-resolution (SISR). Reference-based super-resolution (RefSR), on the other hand, has proven to be promising in recovering high-resolution (HR) details when a reference (Ref) image with similar content as that of the LR input is given. However, the quality of RefSR can degrade severely when Ref is less similar. This paper aims to unleash the potential of RefSR by leveraging more texture details from Ref images with stronger robustness even when irrelevant Ref images are provided. Inspired by the recent work on image stylization, we formulate the RefSR problem as neural texture transfer. We design an end-to-end deep model which enriches HR details by adaptively transferring the texture from Ref images according to their textural similarity. Instead of matching content in the raw pixel space as done by previous methods, our key contribution is a multi-level matching conducted in the neural space. This matching scheme facilitates multi-scale neural transfer that allows the model to benefit more from those semantically related Ref patches, and gracefully degrade to SISR performance on the least relevant Ref inputs. We build a benchmark dataset for the general research of RefSR, which contains Ref images paired with LR inputs with varying levels of similarity. Both quantitative and qualitative evaluations demonstrate the superiority of our method over state-of-the-art.

연구 동기 및 목표

• 큰 배율 인플레이션 요인에서 미세한 질감을 복원하는 데에 한계가 있는 기존 단일 이미지 초해상도(SISR) 방법의 문제를 해결하기 위해.
• 현재의 참조 기반 초해상도(RefSR) 방법이 참조 이미지의 내용 유사성과 정렬에 민감한 점을 극복하기 위해.
• 참조가 관련이 없거나 정렬이 잘 되지 않더라도 성능을 유지할 수 있는 더 견고한 RefSR 프레임워크를 개발하기 위해.
• 참조 유사성 수준이 다양한 조건에서 RefSR 방법을 평가할 수 있도록 기준 데이터셋을 구축하기 위해.

제안 방법

• RefSR 문제를 원시 픽셀 공간 대신 신경 특징 공간에서의 다중 수준 특징 매칭을 사용하는 신경 질감 전이 문제로 재정의한다.
• 저해상도 입력과의 의미적 및 질감적 유사성에 기반해 참조 이미지에서 질감을 적응적으로 전이하는 딥 엔드 투 엔드 네트워크를 구현한다.
• 다양한 VGG-19 레이어들(예: relu1_1, relu2_1, relu3_1)을 통해 다중 척도 특징 스위핑을 수행하여 계층적 질감 전이를 가능하게 한다.
• 공간적 일관성과 과도한 스타일화를 방지하기 위해 공간적 및 인지적 정규화를 통합한 가중치 질감 손실을 도입한다.
• 광학 흐름이나 정밀한 정렬이 필요 없이 국소적 매칭과 특징 적응을 수행하는 학습 가능한 질감 전이 모듈을 적용한다.
• 구조 유지와 함께 현실적인 질감 세부 정보를 향상시키기 위해 내용, 인지적, 질감 성분을 통합한 새로운 손실 함수를 활용한다.

실험 결과

연구 질문

• RQ1 심층 특징 공간에서의 신경 질감 전이가 기존의 SISR 및 정렬 의존성 RefSR 방법을 초월해 초해상도 품질을 향상시킬 수 있는가?
• RQ2 콘텐츠 유사성이 낮거나 정렬이 잘 되지 않는 참조가 주어졌을 때 모델의 성능은 어떠한가?
• RQ3 다중 척도 특징 매칭이 질감 복구 및 강인성에 미치는 영향은 무엇인가?
• RQ4 통합된 손실 함수가 질감 전이, 콘텐츠 유지, 인지적 품질을 효과적으로 균형 잡는 데 기여하는가?

주요 결과

• 높은 유사성의 참조 이미지(고수준)를 사용할 경우, SRNTT는 CUFED5 데이터셋에서 PSNR 33.87과 SSIM 0.959를 기록하며 기준선 방법들을 크게 능가한다.
• 관련이 없는 참조(저수준)를 사용할 경우에도 SRNTT는 PSNR 25.23과 SSIM 0.750을 유지하며, SRGAN과 같은 최첨단 SISR 방법과 유사한 성능을 보인다.
• 절단 실험 결과, 단일 레이어 방법 대비 다중 VGG 레이어(relu1/2/3)를 사용한 특징 스위핑이 PSNR를 최대 8.65 dB 향상시키며, 특히 relu1_1이 질감 복구에 가장 기여한다.
• 질감 손실을 비활성화할 경우 PSNR가 25.61에서 25.25로 감소함으로써, 효과적인 질감 전이 및 세부 정보 복구에 있어 이 손실의 핵심적 역할을 확인할 수 있다.
• 특징 스위핑 대신 광학 흐름을 사용하는 경우(SRNTT-flow), PSNR가 크게 감소(예: 고수준에서 25.82에서 24.64로 감소)하여 신경 특징 매칭이 기하학적 정렬보다 우월함을 입증한다.
• 모델는 부드러운 성능 저하를 보이며, 참조 유사성이 감소함에 따라 성능이 점진적으로 떨어지지만, 관련이 없는 참조가 있어도 강인성을 유지한다.