[논문 리뷰] Quantitatively Evaluating GANs With Divergences Proposed for Training

Daniel Jiwoong Im, He Ma외 2명|arXiv (Cornell University)|2018. 03. 02.

Generative Adversarial Networks and Image Synthesis참고 문헌 32인용 수 15

한 줄 요약

이 논문은 GAN 훈련에 사용된 원래의 발산 측도를 활용하여 GAN 성능을 정량적으로 평가하는 도구로 제안한다. 이 측도들이 다양한 데이터셋에서 GAN 변종을 일관되게 순위 매기며, 인간의 시각적 평가 점수보다 더 높은 일치도를 보이며, 한 기준으로 훈련된 모델들이 다른 기준에서도 높은 순위를 차지하는 것으로 나타나, 측도 선택에 대해 강건함을 보여준다.

ABSTRACT

Generative adversarial networks (GANs) have been extremely effective in approximating complex distributions of high-dimensional, input data samples, and substantial progress has been made in understanding and improving GAN performance in terms of both theory and application. However, we currently lack quantitative methods for model assessment. Because of this, while many GAN variants are being proposed, we have relatively little understanding of their relative abilities. In this paper, we evaluate the performance of various types of GANs using divergence and distance functions typically used only for training. We observe consistency across the various proposed metrics and, interestingly, the test-time metrics do not favour networks that use the same training-time criterion. We also compare the proposed metrics to human perceptual scores.

연구 동기 및 목표

• GAN의 광범위한 사용과 다양한 변종에도 불구하고 정량적 평가 방법의 부족을 해결하기 위해.
• GAN 훈련 중에 사용된 발산 측도가 테스트 시점에서 신뢰할 수 있고 일반적인 평가 지표로 기능할 수 있는지 조사하기 위해.
• 다양한 발산 기반 지표를 사용하여 DCGAN, W-DCGAN, LS-DCGAN 등의 다양한 GAN 패밀리의 성능을 비교하고 일관성을 평가하기 위해.
• 이러한 지표들이 인간의 샘플 품질에 대한 인지 평가와 얼마나 잘 일치하는지 평가하기 위해.
• 모델의 아키텍처 크기, 노이즈 차원, 업데이트 비율 등의 하이퍼파라미터에 따른 GAN 성능의 민감도 분석하기 위해.

제안 방법

• 실제 데이터와 생성된 데이터 분포 간의 발산을 추정함으로써, GAN, 최소제곱 GAN(LS), 워샤르스타인 GAN(IW), MMD GAN 등 네 가지 f-발산 및 적분 확률 미터릭(IPM) 공식을 평가 지표로 제안한다.
• 밀도 추정이 필요 없이 실수 데이터와 생성된 데이터의 샘플을 사용하여 발산을 추정한다: $ J(\theta) = \min_\theta \max_\phi \mathbb{E}_{P(x)}[\mu(f(x))] - \mathbb{E}_{Q_\theta(x)}[\upsilon(f(x))] $.
• 최적의 $ f $ 를 근사하기 위해 분류 네트워크 $ D_\phi $ 를 사용하여 발산을 최대화함으로써, 적응적이고 확장 가능한 평가가 가능하도록 한다.
• DCGAN, LS-DCGAN, W-DCGAN 등의 다양한 GAN 아키텍처에 대해 MNIST 및 CIFAR10 데이터셋에서 하이퍼파라미터를 다양하게 설정하여 지표를 적용한다.
• 수득한 지표 점수를 인간의 인지 평가 점수와 비교하고, 다양한 발산 유형 간의 일관성 여부를 평가한다.
• 아키텍처 크기, 노이즈 차원, 생성자/판별자 업데이트 비율, 훈련 데이터 크기 등의 요소에 대해 분석 연구를 수행한다.

실험 결과

연구 질문

• RQ1 원래 GAN 훈련에 사용된 발산 측도가 테스트 시점에서 신뢰할 수 있고 정량적인 평가 지표로 기능할 수 있는가?
• RQ2 다양한 발산 기반 지표들이 데이터셋과 아키텍처에 관계없이 GAN 성능 순위를 일관되게 도출하는가?
• RQ3 이러한 제안된 지표들이 인간의 샘플 품질 인지 평가와 얼마나 잘 일치하는가?
• RQ4 모델의 네트워크 크기, 노이즈 차원, 생성자와 판별자 간의 업데이트 비율 등의 하이퍼파라미터 변화에 따라 GAN 성능이 어떻게 변하는가?
• RQ5 훈련 데이터 크기를 늘릴 경우, DCGAN, W-DCGAN, LS-DCGAN 모두에서 성능 향상이 동일하게 이루어지는가?

주요 결과

• 제안된 발산 기반 지표들은 GAN, LS, IW, MMD 등 다양한 유형 간에 높은 일관성을 보이며, 지표 선택에 대한 강건성을 입증한다.
• W-DCGAN이 IW 기준으로 훈련되었음에도 불구하고 LS-DCGAN이 더 높은 성능을 보였으며, 이는 테스트 시점의 지표가 동일한 목표로 훈련된 모델에 대해 편향되지 않음을 시사한다.
• LS-DCGAN에서 훈련 데이터를 10,000개에서 40,000개로 늘였을 때 LS 점수가 0.0444 ± 0.0033 증가한 반면, DCGAN는 0.0124 ± 0.00127 만 증가하여, W- 및 LS-DCGAN가 더 빠른 데이터 효율성을 보임을 확인했다.
• 모든 모델에서 CIFAR10에서는 생성자와 판별자 간 1:1 업데이트 비율이 가장 우수한 성능을 보였고, MNIST에서는 모델에 따라 성능이 달라져 일반적인 최적 비율이 존재하지 않음을 확인했다.
• 더 큰 GAN 아키텍처는 더 나은 결과를 보였지만, 생성자 크기를 판별자보다 과도하게 크게 하면 성능이 저하됨을 관찰했다.
• 이러한 지표들은 기존의 FID나 Inception Score와 비교해 인간의 인지 평가 점수와 더 높은 일치도를 보이며, 더 높은 인지적 관련성을 지닌 것으로 나타났다.