[논문 리뷰] On the Effectiveness of Spectral Discriminators for Perceptual Quality Improvement

Xin Luo, Yunan Zhu외 2명|arXiv (Cornell University)|2023. 07. 22.

Image and Video Quality AssessmentComputer Science인용 수 3

한 줄 요약

이 논문은 GAN 기반 이미지 초해상도에서 시공간적 및 스펙트럼적 분류기를 조합한 이중 스트림 분류기를 제안하며, 스펙트럼 정렬을 향상시켜 인지적 품질을 향상시킨다. 패치 단위 푸리에 변환과 트랜스포머 기반 스펙트럼 집약(SpecFormer)을 사용함으로써, 기준선 대비 뛰어난 인지적 품질과 더 정확한 비기반 이미지 품질 평가를 달성한다.

ABSTRACT

Several recent studies advocate the use of spectral discriminators, which evaluate the Fourier spectra of images for generative modeling. However, the effectiveness of the spectral discriminators is not well interpreted yet. We tackle this issue by examining the spectral discriminators in the context of perceptual image super-resolution (i.e., GAN-based SR), as SR image quality is susceptible to spectral changes. Our analyses reveal that the spectral discriminator indeed performs better than the ordinary (a.k.a. spatial) discriminator in identifying the differences in the high-frequency range; however, the spatial discriminator holds an advantage in the low-frequency range. Thus, we suggest that the spectral and spatial discriminators shall be used simultaneously. Moreover, we improve the spectral discriminators by first calculating the patch-wise Fourier spectrum and then aggregating the spectra by Transformer. We verify the effectiveness of the proposed method twofold. On the one hand, thanks to the additional spectral discriminator, our obtained SR images have their spectra better aligned to those of the real images, which leads to a better PD tradeoff. On the other hand, our ensembled discriminator predicts the perceptual quality more accurately, as evidenced in the no-reference image quality assessment task.

연구 동기 및 목표

• 주파수 도메인 관점에서 스펙트럼 분류기가 GAN 기반 이미지 초해상도에서 효과적인지 조사한다.
• 저주파수 및 고주파수 범위에서의 차이를 탐지하는 데 있어 공간적 및 스펙트럼적 분류기의 상호보완적 강점을 분석한다.
• 패치 단위 푸리에 변환과 트랜스포머 기반 집약으로 1D-MLP 입력을 대체함으로써 스펙트럼 분류기의 성능을 향상시킨다.
• 공간적 및 스펙트럼적 분류기를 조합함으로써 더 나은 인지적 품질과 더 정확한 비기반 이미지 품질 평가(NR-IQA)를 달성할 수 있음을 검증한다.

제안 방법

• GAN 기반 초해상도에서 인지적 품질을 향상시키기 위해 공간 분류기와 스펙트럼 분류기를 동시에 활용하는 이중 분류기 아키텍처를 제안한다.
• 패치 단위 푸리에 변환을 계산하고 자기주의 기반 자기주의 메커니즘을 통해 스펙트럼을 집약하는 트랜스포머 기반 스펙트럼 분류기인 SpecFormer을 도입한다.
• 실제 이미지와 생성된 이미지 간의 주파수 분포 차이를 분석하기 위해 푸리에 스펙트럼의 방향 평균을 사용한다.
• 공간 분류기와 스펙트럼 분류기를 별도로 훈련시키되, GAN 최적화 과정에서 함께 사용하는 이중 스트림 훈련 전략을 구현한다.
• PSNR, SRCC, PLCC, KRCC와 같은 지표를 사용하여 초해상도 및 비기반 이미지 품질 평가(NR-IQA)에서 방법을 검증한다.
• 비기반 이미지 품질 평가를 위해 RecycleD 프레임워크를 변형하여 공간 분류기를 공간적 및 스펙트럼적 분류기의 앙상블로 교체함으로써 품질 예측 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 이미지의 저주파수 및 고주파수 성분에서의 차이를 탐지하는 데 있어 스펙트럼 분류기와 공간 분류기는 어떻게 비교되는가?
• RQ2 스펙트럼 분류기가 공간 분류기가 고주파수 아티팩트를 선호하는 경향을 효과적으로 보완할 수 있는가?
• RQ3 패치 단위 푸리에 변환과 트랜스포머를 활용한 스펙트럼 분류기 아키텍처 개선이 초해상도에서 더 나은 인지적 품질을 이끌어낼 수 있는가?
• RQ4 공간적 및 스펙트럼적 분류기의 앙상블이 비기반 이미지 품질 평가 성능을 향상시킬 수 있는가?

주요 결과

• 스펙트럼 분류기는 고주파수 범위에서의 차이를 식별하는 데 공간 분류기보다 우수한 성능을 보이며, 반면 공간 분류기는 저주파수 범위에서 더 나은 성능을 보인다.
• 패치 단위 푸리에 변환과 트랜스포머 집약을 사용하는 제안된 SpecFormer은 1D-MLP 기반 기준선 대비 스펙트럼 분류기 성능을 향상시킨다.
• 공간적 및 스펙트럼적 분류기의 이중 분류기(스페이셜 + 스펙트럼)는 초해상도에서 가장 뛰어난 인지적 품질을 달성하며, 생성된 이미지의 스펙트럼이 실제 이미지와 더 잘 정렬되어 PD 트레이드오프가 향상된다.
• KonIQ-10k 데이터셋에서 VGG+SpecFormer 조합은 비기반 이미지 품질 평가(NR-IQA)에서 최고의 SRCC 0.6321과 PLCC 0.6543을 기록하여 모든 기준선을 능가했다.
• 앙상블 분류기는 테스트된 모든 데이터셋에서 비기반 이미지 품질 평가 성능을 향상시켰으며, PIPAL 및 KonIQ-10k에서 최고의 성능을 기록했다.
• 절단 실험 결과 SpecFormer은 다양한 공간 분류기와의 조합에서도 일관되게 성능 향상을 보였으며, 특히 VGG와 조합했을 때 두드러진 성능 향상을 보였다.