[논문 리뷰] Reference-Conditioned Super-Resolution by Neural Texture Transfer

Zhifei Zhang, Zhaowen Wang외 2명|arXiv (Cornell University)|2018. 04. 10.

Advanced Image Processing Techniques참고 문헌 27인용 수 6

한 줄 요약

이 논문은 참조 조건이 부여된 초해상도를 위한 엔드 투 엔드 딥러닝 모델인 SRNTT를 제안한다. 이 모델은 유사도 맵을 사용한 신경망 텍스처 전이 기법을 통해 임의의 참조 이미지에서 고주파 텍스처 세부 정보를 저해상도 입력에 전달하며, 콘텐츠와 텍스처를 적응적으로 융합한다. 이 방법은 대규모 확대 비율과 일치하지 않거나 관련성이 없는 참조 이미지에서도 최신 기술 수준의 시각적 품질을 달성하였으며, 새로운 CUFED5 벤치마크 데이터셋을 통해 광범위한 정량적 및 사용자 연구를 통해 검증되었다.

ABSTRACT

With the recent advancement in deep learning, we have witnessed a great progress in single image super-resolution. However, due to the significant information loss of the image downscaling process, it has become extremely challenging to further advance the state-of-the-art, especially for large upscaling factors. This paper explores a new research direction in super resolution, called reference-conditioned super-resolution, in which a reference image containing desired high-resolution texture details is provided besides the low-resolution image. We focus on transferring the high-resolution texture from reference images to the super-resolution process without the constraint of content similarity between reference and target images, which is a key difference from previous example-based methods. Inspired by recent work on image stylization, we address the problem via neural texture transfer. We design an end-to-end trainable deep model which generates detail enriched results by adaptively fusing the content from the low-resolution image with the texture patterns from the reference image. We create a benchmark dataset for the general research of reference-based super-resolution, which contains reference images paired with low-resolution inputs with varying degrees of similarity. Both objective and subjective evaluations demonstrate the great potential of using reference images as well as the superiority of our results over other state-of-the-art methods.

연구 동기 및 목표

• 다운스케일링 과정에서 정보 손실이 발생함에 따라 대규모 확대 비율에서 전통적인 단일 이미지 초해상도(SISR) 기법이 미세한 텍스처 세부 정보를 복구하는 데에 한계를 보이는 문제를 해결하기 위해.
• 외부 참조 이미지가 목표 이미지의 콘텐츠 유사성이 필요 없이 고주파 텍스처 세부 정보를 제공하는 새로운 초해상도 패러다임인 참조 조건 초해상도를 탐색하기 위해.
• 참조 이미지와 관련이 없거나 정렬이 어긋난 경우에도 저해상도 이미지의 콘텐츠와 참조 이미지의 텍스처를 적응적으로 융합할 수 있는 딥러닝 모델을 설계하기 위해.
• 참조 이미지의 콘텐츠, 텍스처, 색상, 조명, 시점 유사성 등 다양한 요소를 포함하는 평가를 가능하게 하며, 참조 기반 초해상도 연구를 위한 공정한 평가와 향후 연구를 위한 기반을 제공하는 벤치마크 데이터셋 CUFED5를 구축하기 위해.

제안 방법

• 제안된 SRNTT 모델은 참조 이미지를 조건으로 하여 콘텐츠 복원과 텍스처 전이를 동시에 최적화하는 딥 네트워크 아키텍처를 사용한다.
• 특징 공간에서 유사도 맵 $M^{s}$를 활용하여 참조 이미지에서 관련성이 없는 텍스처, 특히 무작위 노이즈나 균일한 강도 이미지와 같은 극단적인 경우의 비관련 텍스처를 억제한다.
• 고수준 특징 표현에서 局부 텍스처 매칭을 수행하여 참조 이미지에서 관련 있는 텍스처 패턴을 식별하고 초해상도 출력으로 전이한다.
• 시각적 현실감을 향상시키면서도 구조적 정밀도를 유지하기 위해 인지적 손실과 적대적 손실을 통합하며, 참조 이미지가 SISR 기법만으로는 불가능한 텍스처 합성 방향을 안내한다.
• 참조 이미지를 조건 입력으로 하여 콘텐츠 손실, 인지적 손실, 적대적 손실의 조합을 사용해 엔드 투 엔드로 네트워크를 훈련시킨다.
• 참조 이미지의 정렬 불일치나 콘텐츠 불일치에 대해 강건하도록 설계되어, 참조와 목표 이미지 간에 의미적 콘텐츠가 전혀 공유되지 않는 경우에도 효과적인 텍스처 전이가 가능하다.

실험 결과

연구 질문

• RQ1 임의의 참조 이미지에서 고주파 텍스처 세부 정보를 저해상도 입력 이미지로 효과적으로 전이할 수 있는가, 특히 참조 이미지의 콘텐츠와 관련이 없을 경우에도 말이다?
• RQ2 콘텐츠, 텍스처, 색상, 시점 유사성 측면에서 참조 이미지와 목표 이미지 간의 유사도가 감소함에 따라 참조 조건 초해상도의 성능은 어떻게 변화하는가?
• RQ3 유사도 맵 $M^{s}$는 노이즈나 균일한 강도 이미지와 같은 극단적인 참조에서 비관련 텍스처를 억제하는 데 어떤 역할을 하는가?
• RQ4 대규모 확대 비율에서 시각적 품질과 텍스처의 자연스러움 측면에서 제안된 SRNTT 모델은 최신 기술 수준의 SISR 및 GAN 기반 방법과 어떻게 비교되는가?
• RQ5 참조 이미지가 정렬되지 않거나 일치하는 구조적 요소를 포함하지 않을 경우, 참조 조건 초해상도가 시각적 품질 향상에 얼마나 기여하는가?

주요 결과

• SRNTT는 4배 확대 비율에서 특히 미세한 텍스처 세부 정보 복원에 있어 SRCNN, SRGAN, EDSR 및 기타 최신 기술 수준의 방법보다 뛰어난 시각적 품질을 달성한다.
• 사용자 연구 결과, SRNTT는 비교된 모든 방법보다 더 높은 비율의 투표를 확보하여 더 나은 시각적 품질로 평가되었으며, 참조 유사도가 감소함에 따라 점진적으로 성능이 저하되기는 하지만, 관련이 없는 참조 이미지에서도 강건성을 유지한다.
• 유사도 맵 $M^{s}$는 핵심적이다: $M^{s}$가 없는 SRNTT는 무작위 노이즈를 참조로 제공받을 경우 노이즈 유사 텍스처를 유발하지만, SRNTT는 이러한 잡음을 성공적으로 억제한다.
• 완벽한 참조(원본 고해상도 이미지)가 제공될 경우, SRNTT는 모든 기준 모델보다 훨씬 더 높은 해상도의 세부 정보를 생성하여, 이 방법이 고품질 참조를 효과적으로 활용할 수 있음을 입증한다.
• 모든 어두운 이미지, 모든 밝은 이미지, 또는 무작위 노이즈와 같은 극단적인 참조 조건에서도 SRNTT는 최신 기술 수준의 GAN 기반 방법과 비교할 만한 시각적 품질을 유지하여, 강건성을 입증한다.
• CUFED5 벤치마크 데이터셋은 참조 유사성의 다섯 단계 수준에서 체계적인 평가를 가능하게 하며, 향후 참조 기반 초해상도 연구의 기반을 제공한다.