[논문 리뷰] Super-resolution Using Constrained Deep Texture Synthesis

Libin Sun, James Hays|arXiv (Cornell University)|2017. 01. 26.

Advanced Image Processing Techniques참고 문헌 46인용 수 5

한 줄 요약

이 논문은 사전 훈련된 CNN의 Gram 행렬에서 유도된 제약 조건을 활용한 깊이 있는 텍스처 합성 기반 초해상도 방법을 제안한다. 이는 고주파 성분을 환기하여 전통적 방법에 비해 시각적 품질을 크게 향상시킨다. 입력의 구조를 유지하면서 참조 이미지의 텍스처 통계를 특징 공간 제약 조건을 통해 전달함으로써, 특히 복잡한 텍스처를 지닌 천연 풍경에서 더 현실적인 텍스처를 구현한다.

ABSTRACT

Hallucinating high frequency image details in single image super-resolution is a challenging task. Traditional super-resolution methods tend to produce oversmoothed output images due to the ambiguity in mapping between low and high resolution patches. We build on recent success in deep learning based texture synthesis and show that this rich feature space can facilitate successful transfer and synthesis of high frequency image details to improve the visual quality of super-resolution results on a wide variety of natural textures and images.

연구 동기 및 목표

• 최신 기술이 강한 PSNR/SSIM 점수를 기록함에도 불구하고 초해상도 성능의 시각적 품질 격차를 해소하기 위해.
• SISR의 불안정한 성격으로 인해 전통적 사전 지식과 회귀 기반 매핑이 고주파 성분을 억제하는 한계를 극복하기 위해.
• 사전 훈련된 네트워크의 깊이 있는 특징 공간이 천연 텍스처에 대해 현실적인 텍스처 전달과 환기 기능을 가능하게 하는지 탐색하기 위해.
• 참조 이미지에서 텍스처 통계를 저해율 입력에 전달하면서도 구조 일致성을 유지하는 데에 Gram 행렬 제약 조건의 효과를 조사하기 위해.
• 천연 풍경과 인간 얼굴 등 텍스처와 구조적 사전 지식이 상이한 다양한 이미지 유형에서의 성능 평가를 위해.

제안 방법

• 저해상도 입력과 원하는 텍스처를 포함한 參照 이미지에서 모두 사전 훈련된 깊이 신경망(VGG 등)을 사용해 계층적인 특징 표현을 추출한다.
• 입력과 參照 이미지의 특징 맵 간의 Gram 행렬 차이를 최소화하여 텍스처 전달을 강제한다. 이는 네트워크의 여러 층에서 수행된다.
• 스parser patch 대응 관계(PatchMatch를 사용해 계산)를 통해 공간 제약 조건을 적용하여 국소적 텍스처 합성을 유도함으로써, 텍스처 통계가 관련 영역에만 전달되도록 보장한다.
• 최적화는 이미지 공간에서 수행되며, Gram 행렬 손실과 픽셀 단위 재구성 손실을 조합하여 입력의 구조를 유지하고 모드 붕괴를 방지한다.
• 이 방법은 전역 및 국소적 텍스처 전달을 모두 지원한다: 전역은 균일한 텍스처에 대해, 국소는 마스크된 최적화를 통해 복잡한 환경에 대해 적용된다.
• 참조 이미지의 소스 영역을 수동 또는 PatchMatch 기반 마스크로 정의하고, 경계 아티팩트를 줄이기 위해 팽창 연산을 적용한다.

실험 결과

연구 질문

• RQ1 특히 Gram 행렬 매칭을 포함한 깊이 있는 특징 공간 제약 조건이 초해상도 이미지에 현실적인 고주파 텍스처를 효과적으로 전달할 수 있는가?
• RQ2 천연 텍스처에 대해 기존의 전통적 SISR 방법과 비교했을 때, 제안된 방법의 시각적 품질은 어떠한가?
• RQ3 이 방법은 훈련 데이터에 존재하지 않는 새로운 텍스처를 얼마나 잘 환기할 수 있으며, 텍스처 전환 및 물체 경계 처리에 대해 어떻게 대응하는가?
• RQ4 왜 이 방법은 인간 얼굴과 같은 구조적 콘텐츠에서는 실패하는가? 이러한 경우에 전역 통계 사용의 한계는 무엇인가?
• RQ5 스parser 대응 관계를 통한 국소적 텍스처 전달은 복잡한 환경에서 현실감을 향상시키고 아티팩트를 최소화하는 데 기여하는가?

주요 결과

• 제안된 방법은 SRCNN 및 이중선형 보간과 같은 기준 SISR 방법에 비해 시각적 품질을 크게 향상시키며, 특히 미세한 텍스처와 고주파 성분의 환기에서 뚜렷한 개선을 보인다.
• 나무, 물, 잎사귀 등 복잡한 텍스처를 지닌 천연 풍경에서는 전역 및 국소 기준선(예: CNNMRF, SRCNN)보다 더 현실적이고 세밀한 출력을 생성한다.
• PSNR는 항상 최고이진 않지만, 인지적 품질 측면에서 기존 방법을 능가함으로써, PSNR만으로는 시각적 현실감 평가에 부적절함을 확인한다.
• 얼굴 이미지의 경우, 전역 통계의 불일치와 얼굴 기능의 구조적 특성으로 인해 의미 있는 세부 정보 전달에 실패한다. 이에 비해 CNNMRF는 이러한 경우에서 더 우수한 성능을 보인다.
• 나쁜 PatchMatch 대응 관계로 인해 레이저링 및 잘못된 텍스처 혼합(예: 나무에 물 텍스처) 등의 아티팩트가 발생함으로써, 마스크 품질에 민감함을 보인다.
• 수동으로 생성한 마스크는 저주파 색상 편향을 줄이지만, 텍스처 전환 및 이미지 경계 근처에서 레이저링 아티팩트를 증가시켜 마스크 설계의 상충 관계를 드러낸다.