[논문 리뷰] ESRGAN: Enhanced Super-Resolution Generative Adversarial Networks

Xintao Wang, Ke Yu외 7명|arXiv (Cornell University)|2018. 09. 01.

Advanced Image Processing Techniques참고 문헌 40인용 수 1,093

한 줄 요약

ESRGAN은 배치 정규화(batch normalization) 없이 Residual-in-Residual Dense Blocks를 도입하고 relativistic discriminator, 활성화 이전 특징에서 계산된 perceptual loss를 통해 SRGAN을 개선하여 지각적 품질이 우수하고 PIRM-SR Challenge region 3에서 우승했다.

ABSTRACT

The Super-Resolution Generative Adversarial Network (SRGAN) is a seminal work that is capable of generating realistic textures during single image super-resolution. However, the hallucinated details are often accompanied with unpleasant artifacts. To further enhance the visual quality, we thoroughly study three key components of SRGAN - network architecture, adversarial loss and perceptual loss, and improve each of them to derive an Enhanced SRGAN (ESRGAN). In particular, we introduce the Residual-in-Residual Dense Block (RRDB) without batch normalization as the basic network building unit. Moreover, we borrow the idea from relativistic GAN to let the discriminator predict relative realness instead of the absolute value. Finally, we improve the perceptual loss by using the features before activation, which could provide stronger supervision for brightness consistency and texture recovery. Benefiting from these improvements, the proposed ESRGAN achieves consistently better visual quality with more realistic and natural textures than SRGAN and won the first place in the PIRM2018-SR Challenge. The code is available at https://github.com/xinntao/ESRGAN .

연구 동기 및 목표

• 단일 이미지 초해상도(SISR)의 지각 품질을 PSNR 중심 방법을 넘어 개선하도록 동기를 부여한다.
• 더 깊은 제너레이터 아키텍처를 개발하여 학습이 더 쉽고 더 풍부한 질감을 얻도록 한다.
• 더 효과적인 판별기와 지각 손실을 도입하여 질감 회복을 안내한다.

제안 방법

• 배치 정규화를 Residual-in-Residual Dense Blocks (RRDB)로 대체하여 더 깊은 제너레이터를 형성.
• BN 계층 제거, 잔여 스케일링(residual scaling) 적용, 안정적인 GAN 학습을 위한 더 작은 초기화 사용.
• Relativistic average Discriminator (RaD) 채택하여 상대적 판단으로 제너레이터를 학습.
• 활성화(pre-activation) 이전의 특징을 사용하여 지각 손실을 계산하여 더 강력하고 밝기 보존 감독을 제공.
• 텍스처에 초점을 맞춘 MINC 기반 지각 손실 변형 포함 선택적으로.
• 재학습 없이 지각 품질과 충실도 간의 균형을 맞추기 위해 네트워크 보간(network interpolation) 도입.

실험 결과

연구 질문

• RQ1 배치 정규화를 제거하고 RRDB를 사용하면 SRGAN 기반 모델의 학습 안정성과 시각적 품질에 어떤 영향이 있는가?
• RQ2 Relativistic discriminator가 표준 GAN 판별기와 비교하여 초해상 출력의 질감 실현도와 에지 선명도를 향상시키는가?
• RQ3 사전 활성화(feature)로 지각 손실을 사용하면 활성화 후 피처 대비 더 밝고 더 선명한 결과를 얻고, 이것이 질감 회복에 어떤 영향을 미치는가?
• RQ4 네트워크 보간이 추가 학습 없이 지각 품질과 PSNR/구조적 충실도 사이의 균형을 효과적으로 맞출 수 있는가?
• RQ5 추가 데이터 세트 및 학습 전략이 다양한 평가 체제(PIRM-SR 등)에서 현실감과 질감 세부 묘사에 어떤 이점을 제공하는가?

주요 결과

• ESRGAN은 SRGAN 및 다른 PSNR 중심 방법보다 일관되게 더 나은 지각 품질과 질감을 보여준다.
• BN 계층 제거 및 RRDB 도입으로 texture 회복이 개선된 더 깊은 제너레이터 학습 가능.
• Relativistic average discriminator가 생성 질감의 에지 선명도와 디테일을 향상시킨다.
• 활성화 이전 특징에서 계산된 지각 손실은 활성화 이후 특징보다 더 선명한 에지와 더 정확한 밝기를 제공한다.
• 네트워크 보간은 재학습 없이 지각 품질과 충실도 사이의 균형을 부드럽게 제어하며, 간단한 이미지 보간보다 우수하다.
• 모델 변형이 PIRM-SR 챌린지 지역 3에서 지각 지수(best perceptual index)로 1위를 차지했다.