[논문 리뷰] GIQA: Generated Image Quality Assessment

Shuyang Gu, Jianmin Bao외 2명|arXiv (Cornell University)|2020. 03. 19.

Advanced Image Processing Techniques참고 문헌 41인용 수 4

한 줄 요약

이 논문은 GAN에서 생성된 개별 이미지의 품질을 객관적으로 평가하기 위한 새로운 프레임워크인 생성 이미지 품질 평가(GIQA)를 소개한다. 학습 기반(semi-supervised regression 기반)의 MBC-GIQA, 데이터 기반(parametric)의 GMM-GIQA, 데이터 기반(non-parametric)의 KNN-GIQA의 세 가지 방법을 제안하며, 인간 평가와 높은 일致성을 보이며, 개별적 실사성/다양성 평가 및 OHEM 기반 GAN 훈련 향상과 같은 응용 가능성을 제공한다.

ABSTRACT

Generative adversarial networks (GANs) have achieved impressive results today, but not all generated images are perfect. A number of quantitative criteria have recently emerged for generative model, but none of them are designed for a single generated image. In this paper, we propose a new research topic, Generated Image Quality Assessment (GIQA), which quantitatively evaluates the quality of each generated image. We introduce three GIQA algorithms from two perspectives: learning-based and data-based. We evaluate a number of images generated by various recent GAN models on different datasets and demonstrate that they are consistent with human assessments. Furthermore, GIQA is available to many applications, like separately evaluating the realism and diversity of generative models, and enabling online hard negative mining (OHEM) in the training of GANs to improve the results.

연구 동기 및 목표

• GAN에서 생성된 개별 이미지의 품질을 평가할 수 있는 방법의 부족을 해결하며, 이는 종종 실사성과 아티팩트 품질에서 일관성 없음을 다루기 위함이다.
• FID나 Inception Score와 같은 기존 메트릭의 한계를 극복하며, 전체 모델을 평가하는 것이 아니라 개별 샘플을 평가하는 데 초점을 맞춘다.
• 기존 NR-IQA 방법과는 다를 바 있는, 생성 이미지 전용으로 특화된 노-레퍼런스(no-reference), 자동화된 품질 평가 시스템을 개발한다.
• OHEM 기반 GAN 훈련 향상과 같은 새로운 응용 분야를 가능하게 하며, 품질 기반 선택적 이미지 추출을 가능하게 한다.
• GIQA 성능을 객관적으로 평가하기 위해 새로운 레이블이 부여된 데이터셋(LGIQA)을 제공하는 벤치마크를 구축한다.

제안 방법

• 훈련 반복 횟수를 의사 레이블로 활용하여, 다중 이진 분류기들을 사용해 이미지 품질 점수를 회귀하는, 반감독 학습 기반의 MBC-GIQA를 제안한다.
• 실사 이미지 분포를 가우시안 믹스처 모델(Gaussian Mixture Model)로 모델링하고, 가능성 기반으로 품질 점수를 할당하는, 파라미터 기반 데이터 기반의 GMM-GIQA를 도입한다.
• 실사 이미지 공간 내에서 자신의 K개의 가장 가까운 이웃과의 거리를 계산하여 이미지 품질을 추정하는, 비파라미터 기반 데이터 기반의 KNN-GIQA를 개발한다.
• 반감독 설정에서 레이블 노이즈를 줄이기 위해 새로운 다중 이진 분류기 회귀 전략을 적용하여, 수동 레이블링 없이도 강건성을 향상시킨다.
• GIQA로 식별된 저품질 생성 이미지에 대해 손실 함수의 가중치를 높이는 방식으로, OHEM(온라인 하드 음성 마이닝)을 GAN 훈련에 적용한다.
• GIQA를 이미지 선택기로 활용하여, 후속 작업에 사용하기 위해 생성 배치에서 고품질 샘플을 선별한다.

실험 결과

연구 질문

• RQ1 인간 레이블 없이도, 노-레퍼런스, 자동화된 방법이 개별 생성 이미지의 품질을 정확하게 평가할 수 있는가?
• RQ2 학습 기반 및 데이터 기반 접근 방식 간의 성능 및 효율성은 어떻게 비교되는가?
• RQ3 GIQA는 생성 모델의 실사성과 다양성을 분리하여 별도로 평가하는 데 사용될 수 있는가?
• RQ4 GIQA를 활용해 저품질 샘플에 집중함으로써 OHEM을 통해 GAN 훈련을 얼마나 향상시킬 수 있는가?
• RQ5 패치 크기, 구성 요소 수, KNN의 K 값과 같은 하이퍼파라미터에 대해 제안된 GIQA 방법은 얼마나 민감한가?

주요 결과

• MBC-GIQA는 패치 크기 192와 8개의 이진 분류기를 사용할 때 LGIQA-FFHQ에서 73.1%의 정확도를 기록하며, 더 높은 수의 분류기에서 성능 저하가 나타나기 전에 최고 성능을 보인다.
• GMM-GIQA는 70개의 가우시안 성분에서 최고 성능(76.4% 정확도)을 기록하며, 100개 성분에서 성능 저하가 시작되기 전에 최적 성능을 달성한다.
• KNN-GIQA는 K=3500개의 가장 가까운 이웃에서 84.3%의 정확도를 기록하며, K=500에서 K=7000 사이에서 성능이 안정화된다.
• GIQA 기반 가중치를 적용한 OHEM은 FID 점수와 품질 점수를 향상시키며, 이미지 선택기 전략과 조합할 경우 추가적인 성능 향상이 이루어진다.
• 제안된 GIQA 방법들은 인간 평가와 강한 일致성을 보이며, 점수 분포 일치 측면에서 NIMA를 능가한다.
• 이 프레임워크는 실사성과 다양성 평가를 효과적으로 분리할 수 있게 하여, FID나 Inception Score보다 더 세분화된 평가가 가능하다.