[논문 리뷰] SSD-GAN: Measuring the Realness in the Spatial and Spectral Domains

Yuanqi Chen, Ge Li외 3명|arXiv (Cornell University)|2020. 12. 10.

Image and Signal Denoising Methods참고 문헌 30인용 수 13

한 줄 요약

이 논문은 주어진 이미지의 실재성에 대해 공간적 및 스펙트럼적 도메인에서 동시에 측정할 수 있도록 디스criminator를 강화하는 SSD-GAN이라는 GAN 프레임워크를 제안한다. 이를 위해 주파수 인지 분류기를 통합함으로써 스펙트럼 불일치를 감소시키고 고주파 수준의 디테일 생성을 향상시킨다. 이 방법은 아키텍처의 대대적인 수정 없이도 다양한 데이터셋에서 최신 기준(FID 점수)을 달성한다.

ABSTRACT

This paper observes that there is an issue of high frequencies missing in the discriminator of standard GAN, and we reveal it stems from downsampling layers employed in the network architecture. This issue makes the generator lack the incentive from the discriminator to learn high-frequency content of data, resulting in a significant spectrum discrepancy between generated images and real images. Since the Fourier transform is a bijective mapping, we argue that reducing this spectrum discrepancy would boost the performance of GANs. To this end, we introduce SSD-GAN, an enhancement of GANs to alleviate the spectral information loss in the discriminator. Specifically, we propose to embed a frequency-aware classifier into the discriminator to measure the realness of the input in both the spatial and spectral domains. With the enhanced discriminator, the generator of SSD-GAN is encouraged to learn high-frequency content of real data and generate exact details. The proposed method is general and can be easily integrated into most existing GANs framework without excessive cost. The effectiveness of SSD-GAN is validated on various network architectures, objective functions, and datasets. Code will be available at https://github.com/cyq373/SSD-GAN.

연구 동기 및 목표

• 표준 GAN이 생성된 이미지에서 고주파 수준의 내용을 재현하지 못하는 이유를 탐구하기 위해.
• 디스criminator 내의 다운샘플링 레이어가 고주파 정보를 손실시켜 스펙트럼 분포 불일치를 유도한다는 것을 규명하기 위해.
• 디스criminator가 공간적 및 스펙트럼적 도메인에서 실재성을 평가할 수 있도록 일반화 가능한 GAN 개선 방법을 제안하기 위해.
• 스펙트럼 불일치를 감소시킴으로써 생성 모델의 이미지 품질과 현실감이 향상됨을 검증하기 위해.

제안 방법

• 실재 이미지와 생성 이미지 간의 스펙트럼 불일치를 탐지하기 위해 디스criminator에 주파수 인지 분류기를 도입하기 위해.
• 공간적 실재성과 스펙트럼적 실재성을 동시에 최적화하기 위해 가중치 조합을 사용하는 손실 함수를 수정하기 위해.
• 푸리에 변환을 사용하여 주파수 성분을 분석하고, 이의 이중성(비가역성 없음)을 활용하여 스펙트럼의 정밀도를 보장하기 위해.
• 기존 GAN 프레임워크에 최소한의 아키텍처 변경과 낮은 계산 오버헤드로 강화된 디스criminator를 통합하기 위해.
• 생성자에 의해 공간적 손실과 스펙트럼적 손실을 동시에 최소화하도록 훈련시켜, 실제 데이터로부터 고주파 디테일을 학습하도록 유도하기 위해.
• 다양한 GAN 아키텍처(예: SNGAN, StyleGAN)와 데이터셋(CIFAR100, STL10, LSUN)에 이 방법을 적용하여 일반화 능력을 입증하기 위해.

실험 결과

연구 질문

• RQ1 표준 GAN은 공간적 현실감은 얻었음에도 불구하고 생성된 이미지에서 고주파 수준의 내용을 재현하지 못하는 이유는 무엇인가?
• RQ2 디스criminator 내의 다운샘플링 과정이 고주파 스펙트럼 정보 손실에 어떻게 기여하는가?
• RQ3 디스criminator에서 스펙트럼적 실재성 측정을 향상시키면 이미지 생성 품질이 향상될 수 있는가?
• RQ4 제안된 방법은 다양한 GAN 아키텍처와 데이터셋에 일반화 가능한가?
• RQ5 공간적 실재성과 스펙트럼적 실재성의 균형을 조절할 경우 FID 점수와 주관적 품질에 어떤 영향을 미치는가?

주요 결과

• SSD-SNGAN+REG는 LSUN-128에서 FID 점수 10.61을 기록하여 SNGAN+REG(10.61)와 SNGAN+DWT(148.05)를 모두 초월하며 뛰어난 성능을 보였다.
• 실재 이미지와 생성 이미지 간의 스펙트럼 불일치가 감소했으며, 주파수 도메인 유사도 향상으로써 이를 뒷받침한다.
• SSD-GAN은 CIFAR100-32, STL10-48, LSUN-128에서 일관된 성능 향상을 보였으며, FID 점수는 각각 19.25, 35.41, 10.61을 기록했다.
• 공간적 및 스펙트럼적 실재성 간의 무게 조정을 담당하는 하이퍼파rameter λ는 다양한 값에서도 안정적인 성능을 보이며 강건성을 입증했다.
• 주파수 인지 분류기는 스펙트럼적 차이를 효과적으로 포착하여 생성자가 미세한 디테일과 고주파 무늬를 학습하도록 유도했다.
• 이 방법은 아키텍처의 대대적인 변경 없이도 다양한 GAN 아키텍처와 목적 함수에 대해 잘 일반화되며 성능 향상을 이룬다.