[논문 리뷰] RankSRGAN: Generative Adversarial Networks with Ranker for Image Super-Resolution

Wenlong Zhang, Yihao Liu외 2명|arXiv (Cornell University)|2019. 08. 18.

Advanced Image Processing Techniques참고 문헌 8인용 수 51

한 줄 요약

RankSRGAN은 NR-IQA 지각적 지표의 동작을 학습하는 Ranker를 도입하고, rank-content 손실로 SR 제너레이터를 최적화하여 PSNR를 유지하면서 지각적 품질에서 최첨단 성능을 달성한다.

ABSTRACT

Generative Adversarial Networks (GAN) have demonstrated the potential to recover realistic details for single image super-resolution (SISR). To further improve the visual quality of super-resolved results, PIRM2018-SR Challenge employed perceptual metrics to assess the perceptual quality, such as PI, NIQE, and Ma. However, existing methods cannot directly optimize these indifferentiable perceptual metrics, which are shown to be highly correlated with human ratings. To address the problem, we propose Super-Resolution Generative Adversarial Networks with Ranker (RankSRGAN) to optimize generator in the direction of perceptual metrics. Specifically, we first train a Ranker which can learn the behavior of perceptual metrics and then introduce a novel rank-content loss to optimize the perceptual quality. The most appealing part is that the proposed method can combine the strengths of different SR methods to generate better results. Extensive experiments show that RankSRGAN achieves visually pleasing results and reaches state-of-the-art performance in perceptual metrics. Project page: https://wenlongzhang0724.github.io/Projects/RankSRGAN

연구 동기 및 목표

• 전통적인 PSNR 중심 손실보다 단일 이미지 초해상도(SISR)에서의 지각적 품질 개선의 동기를 제시한다.
• 구 differentiable하지 않은 지각 지표를 최적화하는 어려움을 그들의 랭킹 동작을 학습함으로써 해결한다.
• 다양한 SR 방법을 융합해 지각적 결과를 향상시키는 일반 프레임워크를 제안한다.
• 학습된 Ranker와 rank-content 손실을 활용해 RankSRGAN이 단일 방법의 한계를 넘을 수 있음을 시연한다.

제안 방법

• 선택된 지각 지표의 순위 동작을 margin-ranking 손실을 통해 학습하기 위해 Ranker를 훈련한다.
• 여러 SR 방법으로부터 쌍별 SR 결과를 생성하고, 지각 지표(예: NIQE)에 따라 쌍을 라벨링하여 랭크 데이터셋을 구성한다.
• SRGAN 프레임워크에 rank-content 손실을 통합해 생성기가 더 높은 지각 품질을 가지도록 유도한다.
• 기본 SRGAN 아키텍처(생성기의 16개의 잔차 블록; VGG 기반 구분자)를 채택하고 지각적, 적대적, rank-content 손실을 결합해 학습한다.
• Ranker가 절대 지표 값이 아닌 랭킹 순서를 예측하도록 하여 다양한 지각 지표(NIQE, Ma, PI)에 걸친 최적화를 안정화한다.
• Ranker가 서로 다른 SR 알고리즘의 결과를 활용해 단일 방법을 넘는 지각적 품질 향상을 이끌 수 있음을 보여준다.

실험 결과

연구 질문

• RQ1 학습된 Ranker가 무시가능한(indifferentiable) 지각 지표를 근사하고 SR 네트워크를 더 나은 지각 품질로 이끄는가?
• RQ2 랭크 기반 손실을 도입하면 RankSRGAN이 서로 다른 SR 방법의 강점을 결합하고 각각의 지각적 성능을 능가할 수 있는가?
• RQ3 이 접근법이 다수의 지각 지표(NIQE, Ma, PI) 및 데이터셋에 걸쳐 일반화 가능한가?
• RQ4 RankSRGAN은 지각 품질과 PSNR 간의 균형을 어떻게 처리하며, 지각 지표를 개선하면서 PSNR을 보존할 수 있는가?

주요 결과

• RankSRGAN은 Set14, BSD100, PIRM-Test에서 테스트된 지각적 SR 방법들 가운데 NIQE 및 PI 성능이 가장 우수하다.
• RankSRGAN은 핵심 데이터셋에서 PSNR을 경쟁자들과 유사하거나 근접하게 유지하며 SRGAN/ESRGAN과 비슷한 PSNR 값을 보인다.
• Ranker의 검증 SROCC가 0.88로, 랭킹 예측 성능이 강력함을 나타낸다.
• RankSRGAN-MR(랭크 기반)은 PIRM-Test에서 NIQE에서 SRGAN 및 ESRGAN보다 우수하며, 다수의 방법의 강점을 결합해 단일 SR 알고리즘의 상한을 초과할 수 있다.
• RankSRGAN은 NIQE, Ma, PI 등 다양한 지각 지표에 대해 일관된 지각 품질 향상을 일반화할 수 있다.