[논문 리뷰] Compound Frechet Inception Distance for Quality Assessment of GAN Created Images

Eric J. Nunn, Pejman Khadivi외 1명|arXiv (Cornell University)|2021. 06. 16.

Generative Adversarial Networks and Image Synthesis참고 문헌 14인용 수 8

한 줄 요약

이 논문은 복합 프리체트 인셉션 거리(C-FID)를 제안하며, 하위 수준, 중간 수준, 고수준 특징을 통합한 FID 기반 평가를 통해 GAN 이미지 품질 평가를 향상시킨다. 이러한 추상화를 조합함으로써 C-FID는 시각적 결함을 더 잘 탐지하여 표준 FID보다 왜곡되거나 품질이 낮은 생성된 이미지에서 더 뛰어난 강건성을 보이며, 특히 인지적 품질이 손상되었음에도 불구하고 FID 점수가 속임성 있게 낮게 유지되는 상황에서 뛰어난 성능을 발휘한다.

ABSTRACT

Generative adversarial networks or GANs are a type of generative modeling framework. GANs involve a pair of neural networks engaged in a competition in iteratively creating fake data, indistinguishable from the real data. One notable application of GANs is developing fake human faces, also known as "deep fakes," due to the deep learning algorithms at the core of the GAN framework. Measuring the quality of the generated images is inherently subjective but attempts to objectify quality using standardized metrics have been made. One example of objective metrics is the Frechet Inception Distance (FID), which measures the difference between distributions of feature vectors for two separate datasets of images. There are situations that images with low perceptual qualities are not assigned appropriate FID scores. We propose to improve the robustness of the evaluation process by integrating lower-level features to cover a wider array of visual defects. Our proposed method integrates three levels of feature abstractions to evaluate the quality of generated images. Experimental evaluations show better performance of the proposed method for distorted images.

연구 동기 및 목표

• 표준 프리체트 인셉션 거리(FID)가 인지적으로 열 劣하거나 왜곡된 GAN 생성 이미지를 제대로 처벌하지 못하는 한계를 해결하기 위해.
• 저수준 시각적 특징을 통합함으로써 GAN 이미지 품질 평가의 강건성을 향상시키기 위해.
• 고수준 의미론적 특징과 중간 및 저수준 시각적 추상화를 통합하여 보다 종합적인 품질 평가를 위한 통합된 메트릭을 개발하기 위해.
• 특히 이미지 왜곡이나 아티팩트가 발생하는 경우에 더 신뢰할 수 있고 인지적으로 일치하는 평가 메트릭을 제공하기 위해.

제안 방법

• 표준 FID를 확장하여 사전 훈련된 인셉션 네트워크의 여러 레이어에서 특징 맵을 통합함: 저수준(초기 합성곱 레이어), 중간 수준(중간 레이어), 고수준(최종 분류 레이어).
• 각 특징 수준에 대해 별도의 FID 점수를 계산하고, 다양한 추상화 수준의 기여를 균형 있게 조절하기 위해 가중치 융합 전략을 사용하여 복합 메트릭으로 조합함.
• 특징 추출기로 사전 훈련된 인셉션 v3를 사용하며, 최종 평균 ���핑 레이어와 중간 레이어에서 특징 벡터를 추출하여 의미론적 패턴과 저수준 시각적 패턴을 모두 캡처함.
• 최종 C-FID 점수는 세 수준의 개별 FID 점수의 가중치 합으로 계산되며, 하이퍼파라미터를 조정하여 결함 민감도가 높은 저수준 특징의 기여를 강조함.
• 실제 이미지와 생성된 이미지의 특징 다변량 가우시안 분포 간의 프리체트 거리를 측정하는 방식으로 FID의 통계적 기반을 유지함.
• 편향된 왜곡이 있는 벤치마크 데이터셋을 사용하여 뿌연, 노이즈, 질감 불일치 등의 아티팩트에 대한 민감도를 평가함.

실험 결과

연구 질문

• RQ1 저수준 시각적 특징을 통합함으로써 FID의 인지적으로 열 劣한 GAN 생성 이미지에 대한 민감도를 향상시킬 수 있는가?
• RQ2 다양한 수준의 특징 추상화를 융합할 경우, FID 점수와 인간의 이미지 품질 인지 판단 간의 상관관계는 어떻게 변화하는가?
• RQ3 제안된 C-FID 메트릭이 뿌연, 노이즈 등의 이미지 왜곡을 탐지하는 데서 표준 FID보다 어느 정도 뛰어나게 성능을 발휘하는가?
• RQ4 중간 및 저수준 특징의 포함이 다양한 또는 완벽하지 않은 데이터셋으로 훈련된 GAN의 평가에 더 강건한 결과를 이끌어내는가?
• RQ5 FID가 시각적 열 劣를 반영하지 못하는 상황에서 C-FID가 FID보다 더 신뢰할 수 있는 인지적 품질의 대체 지표가 될 수 있는가?

주요 결과

• C-FID는 표준 FID가 자주 처벌하지 못하는 뿌연, 노이즈, 질감 불일치 등의 시각적 결함을 탐지하는 데 뛰어난 성능을 보였다.
• 통제된 왜곡이 있는 데이터셋에서 C-FID는 표준 FID보다 인간의 인지적 판단과 더 강한 상관관계를 보였다.
• 저수준 특징의 통합은 FID 점수가 낮게 유지되면서도 시각적 품질이 열 劣한 경우에 메트릭의 민감도를 크게 향상시켰다.
• 다양한 수준의 특징을 가중치 융합함으로써 더 균형 잡히고 강건한 평가가 가능해져, 품질 평가에서 잘못된 양성 결과를 줄였다.
• 실험을 통해 C-FID는 표준 FID 점수가 속임성 있게 유리하게 나온 경우에도 저품질 이미지를 생성하는 모델을 효과적으로 식별하는 것으로 확인되었다.
• 실제 배포 환경에서 GAN 평가의 신뢰성을 크게 향상시키면서도 계산 비용을 유지함으로써 실용성도 확보하였다.