[논문 리뷰] NTIRE 2020 Challenge on Real-World Image Super-Resolution: Methods and Results

Andreas Lugmayr, Martin Danelljan외 44명|arXiv (Cornell University)|2020. 05. 05.

Advanced Image Processing Techniques참고 문헌 78인용 수 23

한 줄 요약

이 논문은 쌍이 없는 훈련 데이터를 사용하여 저품질 이미지를 향상시키는 데 초점을 맞춘 NTIRE 2020 챌린지인 실세계 이미지 초해상도 기술에 대해 제시한다. 22개 팀의 방법을 평가하며, 두 가지 트랙을 도입한다: 하나는 기반 기반 평가를 위한 합성으로 열악하게 훼손된 이미지로 구성된 트랙이며, 다른 하나는 실제 스마트폰 이미지를 사용하여 인간의 인지 기반 평가를 통해 성능을 평가하는 트랙이다. 이는 비지도 및 약한 지도 학습 기반 초해상도 기술의 발전을 이끈다.

ABSTRACT

This paper reviews the NTIRE 2020 challenge on real world super-resolution. It focuses on the participating methods and final results. The challenge addresses the real world setting, where paired true high and low-resolution images are unavailable. For training, only one set of source input images is therefore provided along with a set of unpaired high-quality target images. In Track 1: Image Processing artifacts, the aim is to super-resolve images with synthetically generated image processing artifacts. This allows for quantitative benchmarking of the approaches \wrt a ground-truth image. In Track 2: Smartphone Images, real low-quality smart phone images have to be super-resolved. In both tracks, the ultimate goal is to achieve the best perceptual quality, evaluated using a human study. This is the second challenge on the subject, following AIM 2019, targeting to advance the state-of-the-art in super-resolution. To measure the performance we use the benchmark protocol from AIM 2019. In total 22 teams competed in the final testing phase, demonstrating new and innovative solutions to the problem.

연구 동기 및 목표

• 훈련 중에 쌍이 있는 고해상도 및 저해상도 이미지가 제공되지 않는 실세계 이미지 초해상도 문제를 해결한다.
• 실세계 이미지 훼손에 대한 일반화 능력을 향상시키기 위해 약한 지도 학습 및 비지도 학습 기반 초해상도 연구를 촉진한다.
• 쌍이 없는 데이터에 대한 초해상도 모델 평가를 위한 벤치마크 프로토콜과 데이터셋을 구축하며, 전통적 지표보다는 인지적 품질에 중점을 둔다.
• 합성 손상 요소와 실제 스마트폰 이미지를 모두 활용하여 실세계 초해상도의 최신 기술을 발전시킨다.
• 모델 성능 평가를 위해 인간 연구를 실시하여 PSNR나 SSIM과 같은 수치 지표보다는 인지적 품질을 우선시한다.

제안 방법

• 청결한 이미지에 저급 장치의 이미지 처리 아티팩트를 시뮬레이션하기 위해 비공개이자 복잡한 훼손 연산자를 사용하여 Track 1에서 기반 기반 평가를 가능하게 한다.
• Track 1에서 훈련, 검증, 테스트 이미지 전부에 동일한 훼손 과정을 적용하여 일관성을 유지하고 실세계 이미지 생성을 시뮬레이션한다.
• Track 2에서는 쌍이 없는 실제 저품질 아이폰 이미지를 사용하며, 지정된 기반 이미지가 없어 모델이 기반 없이 인지적으로 매력적인 결과를 생성해야 한다.
• 모델을 훈련할 때는 쌍이 없는 소스 이미지와 별도의 고품질 타겟 이미지만을 사용하여 쌍이 없는 지도 학습을 방지한다.
• 생성적 적대 신경망(GANs), 도메인 적응, 주파수 분리 기법을 활용하여 질감과 세부 정보를 향상시키면서도 현실감을 유지한다.
• 최종 평가로 인간 연구를 실시하여 주된 목표가 PSNR나 SSIM과 같은 수치 지표가 아니라 인지적 품질이기 때문이다.

실험 결과

연구 질문

• RQ1 훈련 중에 쌍이 있는 고해상도 이미지가 제공되지 않는 실세계 이미지에서 딥 러닝 모델이 초해상도 성능을 얼마나 잘 수행할 수 있는가?
• RQ2 기존의 PSNR 최적화 모델과 비교할 때, GAN 기반 및 자기지도 학습 방법은 쌍이 없는 환경에서 인지적 품질을 얼마나 향상시킬 수 있는가?
• RQ3 도메인 적응과 사이클 일致성 학습은 실세계 초해상도에서 저품질 입력과 고품질 출력 간의 격차를 효과적으로 메울 수 있는가?
• RQ4 주파수 도메인 분리 및 노이즈 주입 기법은 쌍이 없는 초해상도에서 현실적인 질감과 세부 정보를 복원하는 데 얼마나 효과적인가?
• RQ5 기본 지도 학습이 없는 상황에서 다양한 아키텍처(예: 잔차 네트워크, 어텐션 모듈, 적대적 훈련)의 상대적 성능은 어떠한가?

주요 결과

• Track 1에서 상위 성능을 낸 모델들은 합성 훼손 벤치마크에서 높은 PSNR 및 SSIM 점수를 기록하여 알려진 아티팩트에 대한 강력한 일반화 능력을 입증했다.
• Track 2에서는 지정된 기반 이미지가 없었기 때문에 인간 평가를 통해 인지적 품질 기반 순위를 매겼으며, 여러 팀이 높은 인간 선호도 점수를 기록했다.
• 적대적 훈련과 주파수 도메인 분리 기법을 사용한 모델들은 PSNR가 최적화되지 않았더라도 뛰어난 인지적 품질을 보였다.
• 도메인 적응과 사이클 일치성 GAN은 분포 이격을 보완함으로써 실제 스마트폰 이미지에서 성능을 크게 향상시켰다.
• 이 챌린지는 인지적 품질이 항상 PSNR와 상관되지 않음을 드러내며, 실세계 초해상도에서 인간 평가의 중요성을 강조했다.
• 여러 팀이 사전 지식 없이도 복잡하고 알려지지 않은 훼손 연산자를 효과적으로 역전환하는 데 성공하여, 쌍이 없는 환경에서 강력한 일반화 능력을 보였다.