[논문 리뷰] Geometry Score: A Method For Comparing Generative Adversarial Networks

Valentin Khrulkov, Ivan Oseledets|arXiv (Cornell University)|2018. 02. 07.

Generative Adversarial Networks and Image Synthesis참고 문헌 20인용 수 51

한 줄 요약

이 논문은 Geometry Score를 도입합니다. 이는 지속적 동형성(persistent homology)과 상대적 생존 시간(relative living times)을 사용하여 데이터 매니폴드와 모델 매니폴드를 토폴로지적으로 일치시키는 GAN 간 비교 지표입니다. 합성 데이터, MNIST, CelebA, CaloGAN에서 GAN을 평가합니다.

ABSTRACT

One of the biggest challenges in the research of generative adversarial networks (GANs) is assessing the quality of generated samples and detecting various levels of mode collapse. In this work, we construct a novel measure of performance of a GAN by comparing geometrical properties of the underlying data manifold and the generated one, which provides both qualitative and quantitative means for evaluation. Our algorithm can be applied to datasets of an arbitrary nature and is not limited to visual data. We test the obtained metric on various real-life models and datasets and demonstrate that our method provides new insights into properties of GANs.

연구 동기 및 목표

• 위상 기반의 GAN 평가의 필요성을 제시하여 모드 붕괴를 탐지하고 샘플 다양성을 평가합니다.
• 데이터와 모델 매니폴드를 위상적 특징으로 비교하는 지표(Geometry Score)를 제안합니다.
• 메서드를 데이터셋에 구애받지 않고 고차원 비시각 데이터에도 적용 가능하게 만듭니다.
• 합성 데이터, MNIST, CelebA, 그리고 CaloGAN에 대한 접근 방식을 시연하여 정성적·정량적 통찰을 제공합니다.

제안 방법

• 데이터와 생성 샘플을 매니폴드를 근사하는 점 구름으로 표현합니다.
• 랜드마크와 위저즈로부터 증거 복합체를 구성하여 위상 요약을 얻습니다.
• 1차 호모로지(H1)에 대한 지속성 동형성(persistent homology)과 Relative Living Times(RLT)를 계산합니다.
• 랜덤 랜드마크 선택을 통해 RLT를 평균화하여 Mean Relative Living Times(MRLT)를 정의합니다.
• 두 데이터 세트의 1차 차원에서 MRLT 분포 간의 L2 거리를 Geometry Score로 정의합니다.
• 알파(지속성) 매개변수를 사용하여 필tration을 만들고 표준 지속 알고리즘으로 바코드를 추출합니다.

실험 결과

연구 질문

• RQ1 생성 데이터 매니폴드의 토폴로지가 GAN의 품질과 모드 커버리지를 시각적 검사 이상의 정보로 드러낼 수 있나요?
• RQ2 MRLT 분포가 데이터와 모델 샘플의 본질적 토폴로지 특징을 얼마나 잘 포착하나요?
• RQ3 Geometry Score가 GAN 변형들(WGAN vs. WGAN-GP)을 구분하고 데이터 세트 간 모드 붕괴를 탐지합니까?
• RQ4 Geometry Score가 비시각적 데이터나 고차원 데이터에 적용 가능한가요?
• RQ5 대규모 데이터세트에서 접근 방식의 계산 가능성은 어느 정도인가요?

주요 결과

• Geometry Score는 데이터와 생성 샘플 간의 토폴로지적 유사성의 정량적 척도를 제공합니다.
• MRLT 분포는 서로 다른 스케일에서 토폴로지 특징(1D 구멍)의 존재와 안정성을 나타냅니다.
• MNIST에서 WGAN-GP는 대체로 대부분의 숫자에 대해 WGAN보다 더 나은 Geometry Score를 보이며 샘플 품질이 높다는 기대와 일치합니다.
• 좋은 모델 CelebA 샘플은 지표가ground truth에 가깝은 토폴로지를 보이고, 모드 붕괴된 모델은 뚜렷한 MRLT 패턴을 보입니다.
• CaloGAN 분석은 비시각적 데이터에 대한 적용 가능성과 해석 가능한 토폴로지 차이를 시연합니다.
• 실전에서 Geometry Score는 기존 지표를 보완하며 하이퍼파라미터 튜닝에 가이드를 제공합니다.