[논문 리뷰] Real-ESRGAN: Training Real-World Blind Super-Resolution with Pure Synthetic Data

Xintao Wang, Liangbin Xie외 2명|ArXiv.org|2021. 07. 22.

Advanced Image Processing Techniques참고 문헌 52인용 수 83

한 줄 요약

Real-ESRGAN은 고차원 합성 열화 모델과 스펙트럴 정규화를 갖춘 U-Net 판별자를 사용하여 순수 합성 데이터로 학습함으로써 ESRGAN을 확장하고, 실제 세계의 블라인드 초해상도에서 우수한 성능을 달성한다.

ABSTRACT

Though many attempts have been made in blind super-resolution to restore low-resolution images with unknown and complex degradations, they are still far from addressing general real-world degraded images. In this work, we extend the powerful ESRGAN to a practical restoration application (namely, Real-ESRGAN), which is trained with pure synthetic data. Specifically, a high-order degradation modeling process is introduced to better simulate complex real-world degradations. We also consider the common ringing and overshoot artifacts in the synthesis process. In addition, we employ a U-Net discriminator with spectral normalization to increase discriminator capability and stabilize the training dynamics. Extensive comparisons have shown its superior visual performance than prior works on various real datasets. We also provide efficient implementations to synthesize training pairs on the fly.

연구 동기 및 목표

• 열화가 미지이고 복잡한 실제 세계의 블라인드 SR을 동기화하려는 동기 부여.
• 실제 세계 프로세스를 더 잘 시뮬레이션하는 실용적 열화 모델 개발.
• 아키텍처 및 학습 개선을 통해 학습 안정성과 지각 품질 향상.
• 합성 데이터 학습이 이전의 실데이터 및 합성 데이터 방법보다 실제 이미지에 대해 더 나은 성능을 보일 수 있음을 입증.

제안 방법

• 실제 세계 파이프라인을 시뮬레이션하기 위해 여러 고전적 열화를 조합한 고차 열화 모델 도입.
• 디그래데이션 합성 과정에서 링잉 및 과응답 아티팩트를 모델링하기 위해 시크(sinc) 필터를 도입.
• 스펙트럼 정규화를 갖춘 U-Net 판별자를 채용하여 더 강한 픽셀 단위 피드백을 제공하고 GAN 학습의 안정성을 높인다.
• 두 단계 학습 체계를 사용: 먼저 PSNR 중심 모델(Real-ESRNet)을 학습한 다음 L1, 지각적 손실 및 GAN 손실로 미세 조정.
• RRDB 기반 제너레이터에서 처리하기 전에 픽셀 언셔플(pixel-unshuffle)로 2배와 1배 스케일 인자를 처리하도록 ESRGAN 아키텍처 확장.

실험 결과

연구 질문

• RQ1 고차 합성 열화 모델이 블라인드 SR의 합성 열화와 실제 세계 열화 사이의 간극을 메울 수 있는가?
• RQ2 시크 기반 링잉 아티팩트와 U-Net 판별자를 도입하면 실제 세계 복원 품질과 학습 안정성이 향상되는가?
• RQ3 합성 데이터만으로도 다양한 실제 데이터셋에서 이전의 실제 SR 방법보다 우수한가?
• RQ4 학습 중Ground-truth를 선명하게 하면 지각 품질이 더 향상되나 아티팩트를 야기하지 않는가?
• RQ5 Real-ESRGAN은 실제 세계 이미지에서 ESRGAN 및 기타 최신 블라인드 SR 방법과 어떻게 비교되는가?

주요 결과

• Real-ESRGAN은 순수 합성 데이터로 학습했을 때 실제 데이터셋에서 이전 방법보다 시각적 성능이 더 우수하다.
• 2차 열화 모델과 시크 기반 아티팩트가 실제 세계 열화를 시뮬레이션하는 데 도움이 되며 출력의 링잉/초과 응답을 줄인다.
• 시크털 정규화를 가진 U-Net 판별자는 지역 텍스처 재구성 및 GAN 학습의 안정성을 개선한다.
• 샤프닝된ground-truth로 Real-ESRGAN을 사용할 경우 아티팩트 없이 지각 선명도가 추가로 향상된다.
• 2단계 학습(Real-ESRNet 초기화 후 Real-ESRGAN 학습)이 수렴 속도를 높이고 결과를 개선한다.