[논문 리뷰] NTIRE 2020 Challenge on Perceptual Extreme Super-Resolution: Methods and Results

Kai Zhang, Shuhang Gu외 61명|arXiv (Cornell University)|2020. 05. 03.

Advanced Image Processing Techniques참고 문헌 52인용 수 9

한 줄 요약

이 논문은 DIV8K 데이터셋을 사용하여 ×16 확대 요인에서 단일 이미지 초해상도 복원을 위한 NTIRE 2020 도전 과제를 제시한다. PSNR와 SSIM 외에도 LPIPS와 PI와 같은 인지적 메트릭을 사용하여 19개 팀의 방법을 평가함으로써, 재구성 정확도의 희생을 감수하고도 시각적 품질이 뛰어난 GAN 기반 및 인지적 손실 강화 아키텍처가 뛰어난 성능을 보임을 확인하였다.

ABSTRACT

This paper reviews the NTIRE 2020 challenge on perceptual extreme super-resolution with focus on proposed solutions and results. The challenge task was to super-resolve an input image with a magnification factor 16 based on a set of prior examples of low and corresponding high resolution images. The goal is to obtain a network design capable to produce high resolution results with the best perceptual quality and similar to the ground truth. The track had 280 registered participants, and 19 teams submitted the final results. They gauge the state-of-the-art in single image super-resolution.

연구 동기 및 목표

• 극한의 ×16 확대 요인에서 인지적으로 뛰어난 초해상도 이미지를 생성하는 데 도전한다.
• 과도하게 부드럽게 만드는 전통적인 PSNR 최적화 방법의 한계를 극복한다.
• 인지적으로 일치하는 메트릭을 사용하여 다양한 딥러닝 아키텍처의 인지적 초해상도를 평가하고 비교한다.
• 순수한 재구성 정밀도보다 인지적 품질에 중점을 두어 단일 이미지 초해상도 분야의 연구를 발전시킨다.
• 표준화된 도전 과제 프레임워크를 통해 산업계와 학계 간 협력을 위한 벤치마크를 제공한다.

제안 방법

• ×16 비쿠빅 왜곡으로 1,500개의 학습, 100개의 검증, 100개의 테스트 이미지가 포함된 DIV8K 데이터셋을 사용하였다.
• PSNR 최적화 방법을 배제하고 인지적 품질에 전적으로 집중한 단일 트랙 경쟁 형식을 채택하였다.
• 다양한 메트릭을 사용하여 모델을 평가하였으며, PSNR, SSIM, LPIPS, 그리고 비참조 인지 인덱스(PI)를 사용하였고, LPIPS와 PI를 인지적 순위 매기기 위해 우선시하였다.
• 이중 단계 과제를 구현하였다: 개발 단계(크롭된 1,000×1,000 영역에 대한 PSNR/SSIM 피드백 제공)와 테스트 단계(최종 제출 시 전체 이미지와 코드를 조직자에게 제출).
• ESRGAN, SR-GAN, 어텐션을 통합한 U-Net, 인지적 손실 및 적대적 손실을 갖춘 점진적 개선 네트워크와 같은 딥러닝 아키텍처를 적용하였다.
• 텍스처와 고주파 성분 복원을 향상시키기 위해 VGG 인지 손실과 상대적 평균 GAN 손실을 사용하였다.

실험 결과

연구 질문

• RQ1 딥러닝 모델은 ×16 확대 요인에서 단일 이미지 초해상도 복원에서 높은 인지적 품질을 달성할 수 있는가?
• RQ2 LPIPS와 PI와 같은 인지적 메트릭은 PSNR와 SSIM에 비해 초해상도 결과의 순위 매기기에 얼마나 잘 작용하는가?
• RQ3 극한 초해상도에서 인지적 품질과 재구성 정확도(PSNR) 사이의 상충 관계는 어떠한가?
• RQ4 어느 네트워크 아키텍처와 손실 함수 조합이 극한 초해상도에서 가장 시각적으로 매력적인 결과를 낳는가?
• RQ5 개발 단계 동안 PSNR와 SSIM 기반 피드백 메커니즘이 최종 인지 성능과 얼마나 관련이 있는가?

주요 결과

• CET_CVLab의 V-Stacked Relativistic GAN과 HiImageTeam의 Cascade SR-GAN과 같은 최상위 성능 모델들이 가장 낮은 LPIPS 및 PI 점수를 기록하여 뛰어난 인지적 품질을 입증하였다.
• 인지적 손실과 상대적 적대적 손실을 갖춘 GAN 기반 모델은 PSNR 값이 낮음에도 불구하고 시각적 품질에서 L1/L2 손실 전용 모델을 크게 앞섰다.
• 명백한 상충 관계가 관찰되었으며, PSNR를 최대화하는 방법은 과도하게 부드러운 출력을 만들어내는 반면, 인지적 메트릭을 최적화하는 방법은 텍스처와 세밀한 디테일을 잘 유지하였다.
• 최종 순위는 사용자 연구를 통합하여, 인지적 메트릭인 LPIPS와 PI가 극한 초해상도 결과에 대한 인간 선호도와 잘 일치한다는 점을 확인하였다.
• 일부 팀은 모델 파라미터 수가 100만 이하이며, 이미지당 추론 시간이 100ms 이내인 모델을 보고하여 높은 인지적 품질과 함께 효율성도 입증하였다.
• 도전 과제는 단일 아키텍처나 손실 구성이 항상 우세하지 않음을 드러내었지만, 잔차 블록, 어텐션 메커니즘, 점진적 개선을 조합한 하이브리드 접근 방식이 일관되게 성능 향상을 이룬 것으로 나타났다.