[논문 리뷰] EnhanceNet: Single Image Super-Resolution Through Automated Texture Synthesis

Mehdi S. M. Sajjadi, Bernhard Schölkopf외 1명|arXiv (Cornell University)|2016. 12. 23.

Advanced Image Processing Techniques인용 수 5

한 줄 요약

이 논문은 단일 이미지 초해상도 분석을 위한 딥러닝 프레임워크인 EnhanceNet을 제안한다. 이는 적대적 훈련, 지각적 손실, 자동 텍스처 합성 기법을 융합하여 날카우면서도 현실적인 고주파 텍스처를 생성한다. 완전 컨volution 신경망을 지각적 손실(텍스처 통계에 초점)과 함께 적대적 훈련 환경에서 훈련시킴으로써, 정량적 지표(PSNR, SSIM)와 지각적 품질 측면에서 최신 기술 수준의 성능을 달성한다. PSNR 최적화 모델에 비해 약간 낮은 PSNR 값을 기록하지만, 외관상 더 현실적인 결과를 도출한다.

ABSTRACT

Single image super-resolution is the task of inferring a high-resolution image from a single low-resolution input. Traditionally, the performance of algorithms for this task is measured using pixel-wise reconstruction measures such as peak signal-to-noise ratio (PSNR) which have been shown to correlate poorly with the human perception of image quality. As a result, algorithms minimizing these metrics tend to produce over-smoothed images that lack high-frequency textures and do not look natural despite yielding high PSNR values. We propose a novel application of automated texture synthesis in combination with a perceptual loss focusing on creating realistic textures rather than optimizing for a pixel-accurate reproduction of ground truth images during training. By using feed-forward fully convolutional neural networks in an adversarial training setting, we achieve a significant boost in image quality at high magnification ratios. Extensive experiments on a number of datasets show the effectiveness of our approach, yielding state-of-the-art results in both quantitative and qualitative benchmarks.

연구 동기 및 목표

• 회귀 평균에 기반한 PSNR 기반 초해상도 방법의 한계를 해결하기 위해, 평균화된 이미지로 인해 과도하게 매끄럽고 자연스럽지 않은 결과를 생성하는 문제를 해결한다.
• 픽셀 수준의 재구성 정확도보다는 현실적인 텍스처 합성에 초점을 맞춰 지각적 이미지 품질을 향상시킨다.
• 고주파 세부 정보를 유지하면서도 빠른 추론을 가능하게 하는 피드포워드 방식의 완전 컨volution 신경망 아키텍처를 개발한다.
• 적대적 훈련, 지각적 손실, 텍스처 통계 일치를 융합한 전략이 PSNR 최적화 모델에 비해 더 날카우면서도 더 자연스러운 결과를 도출함을 보여준다.
• 특히 고배율 비율에서 PSNR뿐만 아니라 지각적 지표와 인간 평가에서도 최신 기술 수준의 성능을 달성한다.

제안 방법

• 엔드 투 엔드의 피드포워드 초해상도 추론을 위한 완전 컨볼루션 신경망(FCN) 아키텍처를 채택한다.
• 진짜 고해상도(HR) 이미지와 생성된 HR 출력을 구분하기 위해 판별자 네트워크를 사용하는 적대적 훈련 설정을 도입하여 현실감을 유도한다.
• 사전 훈련된 VGG 네트워크의 특징을 기반으로 한 지각적 손실을 활용하여 생성된 이미지가 고수준 특징 공간에서 진짜 이미지의 통계와 일치하도록 한다.
• 로컬 텍스처 패턴(예: 에지, 텍스처)을 실제 이미지에서 재현하도록 유도하는 텍스처 통계 일치 손실을 도입하여 국소적 현실감을 향상시킨다.
• 적대적 손실, 지각적 손실, 텍스처 통계 손실을 조합한 다중 구성 요소 손실을 사용해 생성자 훈련을 수행함으로써 현실감과 정확도의 균형을 이룬다.
• 두 단계 훈련 전략을 사용한다: 먼저 MSE 손실 기반으로 생성자 모델을 사전 훈련하고, 이후 지각적 및 적대적 목표로 미세 조정한다.

실험 결과

연구 질문

• RQ1 PSNR 최적화 모델에 비해 적대적 훈련과 지각적 손실, 텍스처 통계 손실을 융합한 전략이 지각적 품질 향상에 뚜렷한 기여를 할 수 있는가?
• RQ2 로컬 텍스처 통계를 명시적으로 모델링함으로써 고배율 초해상도에서 더 날카우면서도 더 현실적인 텍스처를 도출할 수 있는가?
• RQ3 피드포워드 방식의 완전 컨볼루션 신경망 아키텍처가 PSNR 및 지각적 품질 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ4 특히 4배 배율에서 기존의 SISR 모델과 비교해 본 결과, 제안된 방법이 외관적 현실감과 인간 인지 측면에서 얼마나 뛰어난가?
• RQ5 표준 PSNR 기반 훈련에서 참조 텍스처 일치가 부재할 경우, 지각적으로 비현실적인 결과로 이어지는 정도는 어느 정도인가?

주요 결과

• ENet-PAT(Perceptual Adversarial Texture)는 Set5(2배 확대 시 37.32 dB), Set14(2배 확대 시 33.25 dB), Urban100(2배 확대 시 31.21 dB)에서 기존의 방법들(VDSR, DRCN 포함)을 능가하는 최신 기술 수준의 PSNR 성능을 기록했다.
• 4배 초해상도에서 ENet-PAT는 Set5에서 33.89 dB, Set14에서 30.45 dB, BSD100에서 28.30 dB, Urban100에서 29.00 dB의 PSNR를 기록하여 고배율 조건에서도 뛰어난 성능을 보였다.
• 인간 인지 설문 조사에서 ENet-PAT는 91.0%의 선택률을 기록했으며, 참가자들이 ENet-E(PSNR 최적화 모델)의 출력보다 ENet-PAT의 결과를 선호함으로써 지각적 품질 향상이 확인되었다.
• 입력이 4배로 리샘플링된 경우(93.75% 픽셀 손실)에도 불구하고 ENet-PAT는 날카운 이미지와 현실적인 텍스처를 생성했으며, 더 적은 정보로 훈련된 모델들보다 뛰어난 성능을 보였다.
• 명시적인 텍스처 통계 일치 손실 덕분에 추가 정규화 없이도 시각적으로 비현실적인 잡음과 왜곡을 줄이고 텍스처의 현실감을 향상시켰다.
• ENet-PAT는 라이언스터(RAISR) 및 기타 최신 기술 모델들보다 세부 정보, 특히 얇은 선과 에지의 재구성에서 뛰어난 성능을 보였다. Set5의 나비 이미지에서 이를 확인할 수 있다.