[논문 리뷰] Quality Aware Generative Adversarial Networks

Parimala Kancharla, Sumohana S. Channappayya|arXiv (Cornell University)|2019. 11. 08.

Image and Video Quality Assessment인용 수 19

한 줄 요약

이 논문은 WGAN-GP 프레임워크에 목적적 이미지 품질 평가 지표—특히 SSIM의 변종과 새로운 NIQE 기반의 기울기 페널티—를 통합하여 생성된 이미지의 품질을 향상시키는 품질 인식 GANs(QAGANs)를 제안한다. 이 방법은 CIFAR-10, STL-10, CelebA에서 최신 기준(FID 및 IS 스코어)을 달성하여, 이미지 품질 지표를 정규화 요소로 명시적으로 사용할 경우 시각적 정밀도와 학습 안정성이 크게 향상됨을 입증한다.

ABSTRACT

Generative Adversarial Networks (GANs) have become a very popular tool for implicitly learning high-dimensional probability distributions. Several improvements have been made to the original GAN formulation to address some of its shortcomings like mode collapse, convergence issues, entanglement, poor visual quality etc. While a significant effort has been directed towards improving the visual quality of images generated by GANs, it is rather surprising that objective image quality metrics have neither been employed as cost functions nor as regularizers in GAN objective functions. In this work, we show how a distance metric that is a variant of the Structural SIMilarity (SSIM) index (a popular full-reference image quality assessment algorithm), and a novel quality aware discriminator gradient penalty function that is inspired by the Natural Image Quality Evaluator (NIQE, a popular no-reference image quality assessment algorithm) can each be used as excellent regularizers for GAN objective functions. Specifically, we demonstrate state-of-the-art performance using the Wasserstein GAN gradient penalty (WGAN-GP) framework over CIFAR-10, STL10 and CelebA datasets.

연구 동기 및 목표

• 기존에 평가 지표로 널리 사용되지만 GAN 학습 목표에 명시적인 통합이 이루어지지 않은 목적적 이미지 품질 평가(IQA) 지표의 통합 부족 문제를 해결하기 위해.
• WGAN-GP 프레임워크에 전반적 기준(SSIM) 및 비기준(NIQE) IQA 지표를 정규화 요소로 통합하여 GAN의 시각적 품질과 학습 안정성을 향상시키기 위해.
• 자연 이미지의 통계적 및 구조적 특징을 IQA 지표를 통해 활용할 경우 더 현실적이고 고품질의 생성 샘플이 도출됨을 입증하기 위해.
• 제안된 정규화 요소가 비진행형 GAN 뿐만 아니라 PGGAN과 같은 진행형 아키텍처에도 효과적으로 적용되어 수렴 속도 향상과 품질 향상을 이끌 수 있음을 보여주기 위해.

제안 방법

• 자연 이미지의 局부 통계적 특징을 기반으로 한 품질 인식 디스커미네이터 기울기 페널티를 제안하며, 이는 NIQE 비기준 IQA 지표에 영감을 받음.
• 실제 이미지와 생성 이미지 간의 구조적 유사성을 증진시키기 위해 WGAN-GP 목표 함수에 수정된 SSIM 변종을 정규화 요소로 도입.
• IQA 기반 제약 조건을 포함하여 기울기 페널티 항목을 수정함으로써 WGAN-GP 프레임워크 내에서 정규화를 적용하여, 디스커미네이터의 기울기 노름이 인지적 품질에 기반해 페널티를 받도록 보장.
• 이중 정규화 전략을 적용: 하나는 전반적 기준 품질 감시를 위한 SSIM, 다른 하나는 비기준 품질 모델링을 위한 NIQE.
• 진행형 GAN(PGGAN)에 동일한 정규화 요소를 적용하여 진행 학습 단계에서 정규화를 적용함으로써 고해상도에서의 수렴성과 품질 향상을 도모.
• 정량적 비교를 위해 FID와 Inception Score(IS)를 평가 지표로 사용하여 QAGANs를 WGAN-GP, SNGAN, MMD GAN, Banach WGANs 등의 최신 기준과 비교.

실험 결과

연구 질문

• RQ1 SSIM 및 NIQE와 같은 목적적 이미지 품질 지표가 표준 GAN 손실을 초월하여 GAN 학습에서 정규화 요소로 효과적으로 활용될 수 있는가?
• RQ2 표준 WGAN-GP와 비교했을 때 NIQE 기반 기울기 페널티를 통합할 경우 GAN의 학습 동역학과 시각적 품질에 어떤 영향을 미치는가?
• RQ3 IQA 지표의 통합이 FID와 IS 양쪽 모두에서 일관된 향상을 이끌어내는가? 이는 더 나은 샘플 다양성과 현실성의 지표가 되는가?
• RQ4 제안된 품질 인식 정규화 요소는 PGGAN과 같은 진행형 GAN 아키텍처에 효과적으로 적용될 수 있으며, 수렴 속도 향상이나 품질 향상에 기여하는가?
• RQ5 NIQE 기반 정규화 요소가 CIFAR-10에서 일관되지 않은 IS 성능을 보이는 이유는 무엇이며, 이미지 해상도는 비기준 IQA 지표 추정의 신뢰성에 어떤 영향을 미치는가?

주요 결과

• SSIM 기반 정규화 요소를 사용한 QAGAN은 CIFAR-10(64×64)에서 Fréchet Inception Distance(FID) 13.91 ± 0.105를 기록하여 WGAN-GP(FID: 40.2)와 SNGAN(FID: 21.5)을 압도적으로 앞서며 최신 기준을 달성.
• CelebA(64×64)에서 QAGAN(SSIM)은 FID 6.421을 기록하여 MMD GAN-rep-b(6.79)와 Banach WGAN(10.5)을 모두 뛰어넘어 최신 기준 성능을 입증.
• STL-10(96×96)에서 QAGAN(SSIM)은 IS 9.66 ± 0.18과 FID 3.7155 ± 0.004를 기록하여 PGGAN(256×256에서 FID: 62.86) 및 기타 기준보다 뚜렷이 뛰어난 성능을 보임.
• NIQE 기반 정규화 요소는 CelebA(256×256)에서 PGGAN의 FID 62.86을 PGGAN + QAGAN-SSIM의 40.83과 PGGAN + QAGAN-NIQE의 47.27로 개선하여 수렴 속도 향상과 더 나은 품질을 입증.
• CIFAR-10(32×32)에서 NIQE 기반 정규화 요소는 일관되지 않은 IS 성능(7.87 ± 0.027)을 보이며, 이는 저해상도에서의 파rameter 추정 부정확성 때문일 가능성이 높아, 이미지 크기에 민감함을 시사.
• 제안된 정규화 요소는 다양한 데이터셋에서 FID와 IS를 일관되게 향상시켜 QAGAN이 더 현실적이며 다양하고 인지적으로 열등한 샘플을 생성함을 의미함.