[논문 리뷰] A-ESRGAN: Training Real-World Blind Super-Resolution with Attention U-Net Discriminators

Zihao Wei, Yidong Huang외 3명|arXiv (Cornell University)|2021. 12. 19.

Advanced Image Processing Techniques인용 수 9

한 줄 요약

이 논문은 다중 척도 주의 U-Net 판별자와 함께 GAN 기반의 블라인드 이미지 초해상도 모델인 A-ESRGAN을 제안한다. 이는 인지적 품질과 구조적 충실도를 향상시키기 위해 제안된다. 주의 메커니즘과 다중 척도 특징 학습을 판별자에 통합함으로써, 이전의 GAN 기반 방법들에 비해 더 선명하고 현실적인 고해상도 이미지를 생성하며, 가장자리 보존과 질감 복원도 향상된다. NIQE에서 최고 성능을 기록한다.

ABSTRACT

Blind image super-resolution(SR) is a long-standing task in CV that aims to restore low-resolution images suffering from unknown and complex distortions. Recent work has largely focused on adopting more complicated degradation models to emulate real-world degradations. The resulting models have made breakthroughs in perceptual loss and yield perceptually convincing results. However, the limitation brought by current generative adversarial network structures is still significant: treating pixels equally leads to the ignorance of the image's structural features, and results in performance drawbacks such as twisted lines and background over-sharpening or blurring. In this paper, we present A-ESRGAN, a GAN model for blind SR tasks featuring an attention U-Net based, multi-scale discriminator that can be seamlessly integrated with other generators. To our knowledge, this is the first work to introduce attention U-Net structure as the discriminator of GAN to solve blind SR problems. And the paper also gives an interpretation for the mechanism behind multi-scale attention U-Net that brings performance breakthrough to the model. Through comparison experiments with prior works, our model presents state-of-the-art level performance on the non-reference natural image quality evaluator metric. And our ablation studies have shown that with our discriminator, the RRDB based generator can leverage the structural features of an image in multiple scales, and consequently yields more perceptually realistic high-resolution images compared to prior works.

연구 동기 및 목표

• 기존의 GAN 기반 블라인드 초해상도 모델들이 판별자에서 픽셀을 균일하게 처리함으로써 과도하게 부드럽거나 왜곡된 결과를 생성하는 한계를 해결하기 위해.
• 판별자 아키텍처에 주의 메커니즘을 통합하여 초해상도 이미지의 인지적 현실감과 구조적 충실도를 향상시키기 위해.
• 다중 척도 특징 학습이 판별자의 현실적인 질감과 가장자리 식별 능력을 향상시키는 데서 수행하는 역할을 탐색하기 위해.
• 기존 생성자(예: RRDB)와 통합할 수 있는 모듈형, 플러그 앤 플레이 판별자 설계를 제공하기 위해.

제안 방법

• U-Net 스케일 연결과 자기 주의 메커니즘을 조합하여 특징 표현을 향상시키는 새로운 다중 척도 주의 U-Net 판별자를 제안한다.
• 동일한 주의 U-Net 판별자를 서로 다른 이미지 척도에서 작동하도록 구현한다: 하나는 원본 해상도에서, 다른 하나는 저해상도로 리샘플링된 버전에서 작동시켜 거시적이고 세밀한 특징을 모두 캡처한다.
• RRDB 기반 생성자와 주의 U-Net 판별자를 통합하여 A-ESRGAN 모델을 구성하며, 적대적 손실을 사용한 엔드 투 엔드 훈련을 가능하게 한다.
• 생성자에게 인지적 현실감과 구조적 정확도를 동시에 확보할 수 있도록 훈련 중에 인지적 손실과 적대적 손실을 사용한다.
• 훈련 중에 판별자가 가장자리와 고주파 세부 정보에 어떻게 동적으로 초점을 맞추는지 시각화하기 위해 주의 맵을 적용한다.
• 주요 기여 요소인 주의 메커니즘과 다중 척도 설계의 영향을 분리하여 분석하기 위해 아블레이션 스터디를 수행한다.

실험 결과

연구 질문

• RQ1 표준 GAN 판별자에 비해 주의 U-Net 아키텍처를 판별자에 통합함으로써 블라인드 초해상도 성능이 어떻게 향상되는가?
• RQ2 다중 척도 특징 학습이 판별자의 현실적인 질감과 가장자리 식별 능력을 향상시키는 데서 수행하는 역할은 무엇인가?
• RQ3 훈련 중 주의 가중치는 어떻게 변화하며, 이는 판별자가 구조적 요소보다 배경 요소에 더 집중하는지에 대한 통찰을 어떻게 드러내는가?
• RQ4 제안된 판별자가 기존 최고 수준의 기준 대비 NIQE 측정 기준으로 인지적 품질을 얼마나 향상시키는가?

주요 결과

• A-ESRGAN 모델은 모든 테스트 데이터셋에서 NIQE 메트릭에서 최고 성능을 기록하며, Real-ESRGAN 및 기타 최고 수준의 모델들을 능가한다.
• 주의 U-Net 판별자는 가장자리 보존을 크게 향상시키고 왜곡을 줄이며, 선명한 선과 줄어든 흐림 현상이 뚜렷한 시각적 비교를 통해 입증된다.
• 다중 척도 판별자 설계 덕분에 나뭇가지나 천 섬유 패턴과 같은 복잡한 영역에서 더 나은 질감 복원이 가능해졌으며, 단일 척도 대비 뛰어난 성능을 보였다.
• 아블레이션 스터디 결과 주의 U-Net 판별자는 과도한 부드러움을 줄이고 고주파 세부 정보 복원 능력을 향상시키며, 특히 세밀한 구조에서 뛰어난 성능을 발휘한다.
• 주의 맵의 시각화 결과, 모델이 훈련 과정에서 균일한 픽셀 가중치에서 가장자리와 세밀한 세부 정보에 집중하는 주의로 점차 전환됨을 확인할 수 있었다.
• 판별자의 이중 척도 운영 방식 덕분에 전반적인 일관성과 국소적 질감 충실도를 동시에 최적화할 수 있었으며, 더 현실적인 이미지 생성에 기여했다.