[논문 리뷰] On Aliased Resizing and Surprising Subtleties in GAN Evaluation

Gaurav Parmar, Richard Zhang외 1명|arXiv (Cornell University)|2021. 04. 22.

Parallel Computing and Optimization Techniques인용 수 13

한 줄 요약

이 논문은 GAN 평가에서 흔히 사용되는 앨리어스 이미지 리사이징과 JPEG 압축이 Fréchet Inception Distance(FID)와 같은 메트릭에 중대하고 뜻하지 않은 편향을 유도하며, 이로 인해 일관성 없고 오해의 소지가 있는 비교가 발생할 수 있음을 규명한다. 저자들은 사전 필터 너비를 다운샘플링 비율에 맞게 조정하고 손실 압축을 피하는 표준화된 구현인 Clean-FID를 제안하며, 이러한 저수준의 프리프로세싱 선택이 FID 점수를 최대 1.5점까지 인위적으로 향상시킬 수 있음을 입증한다. 이는 공정한 모델 평가를 해칠 수 있다.

ABSTRACT

Metrics for evaluating generative models aim to measure the discrepancy between real and generated images. The often-used Frechet Inception Distance (FID) metric, for example, extracts "high-level" features using a deep network from the two sets. However, we find that the differences in "low-level" preprocessing, specifically image resizing and compression, can induce large variations and have unforeseen consequences. For instance, when resizing an image, e.g., with a bilinear or bicubic kernel, signal processing principles mandate adjusting prefilter width depending on the downsampling factor, to antialias to the appropriate bandwidth. However, commonly-used implementations use a fixed-width prefilter, resulting in aliasing artifacts. Such aliasing leads to corruptions in the feature extraction downstream. Next, lossy compression, such as JPEG, is commonly used to reduce the file size of an image. Although designed to minimally degrade the perceptual quality of an image, the operation also produces variations downstream. Furthermore, we show that if compression is used on real training images, FID can actually improve if the generated images are also subsequently compressed. This paper shows that choices in low-level image processing have been an underappreciated aspect of generative modeling. We identify and characterize variations in generative modeling development pipelines, provide recommendations based on signal processing principles, and release a reference implementation to facilitate future comparisons.

연구 동기 및 목표

• 저수준의 이미지 처리 단계—특히 리사이징과 압축—이 GAN 평가 메트릭(FID, KID, IS 등)의 신뢰성에 미치는 영향을 조사하는 것.
• 일반적으로 사용되는 라이브러리(예: PyTorch, TensorFlow)가 리사이징 중에 고정 너비의 사전 필터링을 적용함으로써 앨리어징 아티팩트가 발생하고, 이로 인해 후속 특징 추출이 손상된다는 것을 규명하는 것.
• 실제 이미지에 JPEG 압축을 적용할 경우, 생성된 이미지도 압축된다면 조건부로 FID 점수가 인위적으로 향상될 수 있음을 입증하는 것—즉, 모델이 압축 아티팩트를 학습하지 않더라도 말이다.
• 공정하고 재현 가능한 GAN 모델 간 비교를 보장하기 위해 표준화되고 신호 처리 기준을 충족하는 평가 파이프라인을 제안하는 것.
• FID 계산에서 정확한 앤티앨리어징을 보장하고 손실 압축을 피하는 데 중점을 둔 레퍼런스 구현인 Clean-FID를 공개하는 것.

제안 방법

• 다운샘플링 비율에 따라 사전 필터 커널 너비를 동적으로 조정하는 신호 처리 기준을 충족하는 리사이징 방법을 제안하여 앨리어징을 방지하는 것.
• 모든 리사이징 단계(데이터 프리프로세싱, FID 계산, 생성된 이미지 리사이징)에서 정확한 앤티앨리어징을 보장하는 라이브러리로서 Clean-FID를 구현하는 것.
• PIL과 같은 표준 이미지 처리 라이브러리를 사용하여 적응형 필터를 적용하는 방식으로, PyTorch와 TensorFlow에서 사용하는 고정 너비의 이중선형/이차선형 필터와 대비하는 것.
• 실제 이미지와 생성된 이미지에 다양한 품질 수준의 제어된 JPEG 압축을 적용하여 FID 및 KID 점수에 미치는 영향을 측정하는 것.
• 다양한 모델 체크포인트와 학습 프로토콜을 대상으로 앨리어징 및 앤티앨리어징 리사이징 방식을 비교하여 모델 선택 편향을 평가하는 것.
• 공통 데이터셋(예: FFHQ, LSUN)에 대한 Inception 특징 통계를 사전 계산하고 공개하여 Clean-FID를 사용한 일관된 평가를 가능하게 하는 것.

실험 결과

연구 질문

• RQ1 고정 너비 대비 적응형 사전 필터 너비를 사용하는 다양한 리사이징 구현 방식이 GAN 평가에서 FID 점수에 어떤 영향을 미치는가?
• RQ2 실제 학습 이미지나 생성된 이미지에 JPEG 압축을 적용할 경우 FID 점수가 얼마나 변하게 되며, 이로 인해 인위적인 성능 향상이 발생할 수 있는가?
• RQ3 앨리어징 리사이징을 사용할 경우, 체크포인트나 방법 간 비교 시 다른 모델 선택 결과를 초래할 수 있는가?
• RQ4 GAN 모델이 저수준의 압축 아티팩트를 모델링하지 못할 경우, 실재 이미지와 생성 이미지 모두에 압축을 적용하면 FID 점수가 잘못된 방향으로 향상될 수 있는가?
• RQ5 불일치하는 프리프로세싱(예: 압축, 리사이징)이 발표된 GAN 모델 간 FID 점수의 비교 가능성에 어떤 영향을 미치는가?

주요 결과

• PyTorch와 TensorFlow에서 고정 너비 사전 필터링을 사용하는 앨리어징 리사이징은 고다운샘플링 비율에서 특히 두드러진 앨리어징 아티팩트를 유도하며, 이는 특징 추출을 손상시키고 FID 점수를 왜곡시킨다.
• 다운샘플링 비율에 따라 스케일링되는 적응형 사전 필터를 사용하면 FID 점수의 격차가 감소하고 더 신뢰할 수 있는 메트릭 계산이 가능해진다.
• 실제 학습 이미지에 JPEG 압축을 적용할 경우, 생성된 이미지도 압축된다면 FID 점수는 최대 1.52점까지 향상될 수 있다. 이는 모델이 압축 아티팩트를 학습하지 않았음에도 불구하고 발생한다.
• JPEG-75로 수집된 LSUN Church 데이터셋에서, StyleGAN2 모델은 생성 이미지를 품질 87로 압축했을 때 FID가 3.48을 기록한 반면, PNG로 저장했을 경우 FID는 4.00이었으며, 이는 후처리 단계에서 인위적인 메트릭 향상이 발생했음을 시사한다.
• 리사이징 방법의 차이가 모델 선택에 상당한 영향을 미칠 수 있다: 앨리어징 대비 앤티앨리어징 리사이징을 사용할 경우, '최고의' 모델 체크포인트로 선정되는 결과가 다를 수 있다.
• FID 메트릭은 저수준의 이미지 처리 세부 사항에 매우 민감하며, 불일치하는 프리프로세싱은 모델 간 비교의 타당성을 해친다.