[논문 리뷰] Quality Evaluation of GANs Using Cross Local Intrinsic Dimensionality

Sukarna Barua, Xingjun Ma외 3명|arXiv (Cornell University)|2019. 05. 02.

Generative Adversarial Networks and Image Synthesis참고 문헌 37인용 수 5

한 줄 요약

이 논문은 실재 데이터 다양체와 생성된 데이터 다각체 간의 정렬을 측정하는 크로스-로컬 내재 차원성 기반의 새로운 GAN 평가 지표인 CrossLID를 제안한다. 생성 샘플의 이웃에 비해 실재 데이터의 국소 내재 차원성을 추정함으로써 CrossLID는 모드 붕괴를 효과적으로 탐지하고, 훈련 진행 상황과 강하게 상관되며, 노이즈, 변환, 소규모 샘플 크기와 같은 조건에서도 안정적이고 샘플 효율적인 품질 평가를 가능하게 하여, IS와 FID보다 민감도와 안정성 면에서 뛰어나다.

ABSTRACT

Generative Adversarial Networks (GANs) are an elegant mechanism for data generation. However, a key challenge when using GANs is how to best measure their ability to generate realistic data. In this paper, we demonstrate that an intrinsic dimensional characterization of the data space learned by a GAN model leads to an effective evaluation metric for GAN quality. In particular, we propose a new evaluation measure, CrossLID, that assesses the local intrinsic dimensionality (LID) of real-world data with respect to neighborhoods found in GAN-generated samples. Intuitively, CrossLID measures the degree to which manifolds of two data distributions coincide with each other. In experiments on 4 benchmark image datasets, we compare our proposed measure to several state-of-the-art evaluation metrics. Our experiments show that CrossLID is strongly correlated with the progress of GAN training, is sensitive to mode collapse, is robust to small-scale noise and image transformations, and robust to sample size. Furthermore, we show how CrossLID can be used within the GAN training process to improve generation quality.

연구 동기 및 목표

• 모드 붕괴와 일반화 실패를 탐지하는 데 특화된 신뢰할 수 있는 정량적 평가 지표의 부족 문제를 해결하기 위해.
• 기존 지표인 FID와 IS의 한계인 소규모 노이즈, 이미지 변환, 다양한 샘플 크기 등에 대해 강건한 지표를 개발하기 위해.
• 실재 데이터와 생성된 데이터 간의 분포 정렬을 국소적 이웃 기반 측정으로 내재 차원성을 활용하기 위해.
• 모드 인식 오버샘플링 전략을 통해 CrossLID를 GAN 훈련에 통합하여 훈련 안정성과 품질 향상에 기여하기 위해.
• 전역 지표인 Inception Score와 Fréchet Inception Distance보다 더 민감하고 신뢰도 높은 대안을 GAN 평가에 제공하기 위해.

제안 방법

• 실재 데이터 포인트의 국소 내재 차원성(LID)을 GAN 생성 샘플의 이웃에 대해 교차적으로 추정하는 방식으로 CrossLID를 제안한다.
• 증가하는 반경 내 확률 질량의 증가율을 기반으로 각 실재 샘플 주변의 국소 데이터 부분다양체의 내재 차원성을 추정하기 위해 LID 모델을 사용한다.
• 생성 샘플을 기준 이웃으로 삼아 실재 데이터 포인트들 간의 평균 LID를 계산함으로써 실재 및 생성된 데이터 분포 간의 정렬 정도를 정량화한다.
• 각 모드의 커버리지 정도를 나타내는 모드별 CrossLID 점수를 계산하여 GAN 출력에서 부족하게 커버된 모드를 식별하기 위해 CrossLID를 적용한다.
• 저커버리지 모드의 훈련 빈도를 높여 판별기의 일반화 능력을 향상시키고 모드 붕괴를 방지하기 위해 CrossLID 기반 오버샘플링 전략을 도입한다.
• 생성 샘플의 잠재 공간 내 거리 분포를 실증적으로 활용하여 효율적으로 LID 값을 추정하기 위해 k-최근접 이웃(k-NN) 방법을 사용한다.

실험 결과

연구 질문

• RQ1 전역 지표와 비교해 볼 때, 국소적 이웃 기반 내재 차원성 측정이 GAN 생성 샘플의 품질 평가에 효과적인가?
• RQ2 CrossLID는 모드 붕괴에 얼마나 민감한가? 그리고 GAN 출력에서 데이터 모드의 완전한 커버리지가 이루어지지 않은 경우를 탐지할 수 있는가?
• RQ3 IS와 FID에 비해 CrossLID는 소규모 노이즈, 이미지 변환, 샘플 크기 변화에 대해 얼마나 강건한가?
• RQ4 CrossLID는 부족하게 커버된 데이터 모드를 식별하고, 표적 오버샘플링을 통해 일반화 능력을 향상시키기 위해 훈련을 가이드하는 데 사용될 수 있는가?
• RQ5 CrossLID를 훈련 루프에 통합하면 GAN 생성 품질과 훈련 안정성에 측정 가능한 향상이 이루어지는가?

주요 결과

• CrossLID는 GAN 훈련 진행 상황과 강하게 상관되며, 실재 및 생성된 데이터 분포 간의 정렬이 향상될수록 점수가 감소함을 보였다.
• CrossLID는 모드 붕괴에 매우 민감하다: 이원분포에서 두 모드 중 하나만 커버하는 생성 샘플은 심지어 7.33의 높은 CrossLID 점수를 보이며, 반면 두 모드를 모두 커버하는 경우는 2.10 수준으로 낮게 나타났다 (그림 1 참조).
• CrossLID는 소규모 입력 노이즈와 이미지 변환에 대해 강건하며, 이러한 외란 조건 하에서 IS와 FID보다 더 높은 안정성을 보였다.
• CrossLID는 다양한 샘플 크기에서 가장 낮은 분산을 보였으며, 5,000개 샘플에서도 안정적으로 유지되었고, FID는 높은 민감도를, IS는 중간 수준의 안정성을 보였다.
• CrossLID 기반 오버샘플링 전략은 MNIST, CIFAR-10, SVHN에서 DCGAN 및 WGAN 모델에 대해 CrossLID 점수를 0.15~0.22 감소시켜, 더 나은 모드 커버리지와 분포 정렬을 나타냈다.
• 절단 실험에서 CrossLID 기반 훈련은 배치 정규화를 판별기나 양 네트워크에서 제거한 경우에도 모드 붕괴를 방지했지만, 표준 훈련은 다양한 샘플을 생성하지 못했다.