[论文解读] Geometry Score: A Method For Comparing Generative Adversarial Networks

Valentin Khrulkov, Ivan Oseledets|arXiv (Cornell University)|Feb 7, 2018

Generative Adversarial Networks and Image Synthesis参考文献 20被引用 51

一句话总结

本文提出 Geometry Score，一种基于拓扑的度量，通过使用持久同调和相对生存时间来匹配数据与模型流形的拓扑结构，从而比较 GAN。它在合成数据、MNIST、CelebA 和 CaloGAN 上评估 GAN。

ABSTRACT

One of the biggest challenges in the research of generative adversarial networks (GANs) is assessing the quality of generated samples and detecting various levels of mode collapse. In this work, we construct a novel measure of performance of a GAN by comparing geometrical properties of the underlying data manifold and the generated one, which provides both qualitative and quantitative means for evaluation. Our algorithm can be applied to datasets of an arbitrary nature and is not limited to visual data. We test the obtained metric on various real-life models and datasets and demonstrate that our method provides new insights into properties of GANs.

研究动机与目标

• 提出需要一种基于拓扑的 GAN 评估方法，能够检测模态崩溃并评估样本多样性。
• 提出一种度量（Geometry Score），通过数据和模型流形的拓扑特征进行比较。
• 使该方法对数据集无关，适用于高维非可视数据。
• 在合成数据、MNIST、CelebA 和 CaloGAN 上演示该方法，以提供定性和定量洞见。

提出的方法

• 将数据和生成样本表示为近似流形的点云。
• 从标记点和证人点构建证人复形，以获得拓扑摘要。
• 计算持久同调和相对生存时间（RLT）对于 H1（第一同调）。
• 通过对随机标记点选择对 RLT 求平均，定义平均相对生存时间（MRLT）。
• 定义 Geometry Score 为两个数据集在一维上的 MRLT 分布的 L2 距离。
• 使用 alpha（持久性）参数来创建分层/过滤，并通过标准持久性算法提取条形码。

实验结果

研究问题

• RQ1 生成数据流形的拓扑结构是否能揭示 GAN 的质量和模态覆盖情况，超过肉眼观测？
• RQ2 MRLT 分布在捕捉数据与模型样本的基本拓扑特征方面有多大效果？
• RQ3 Geometry Score 是否能区分不同的 GAN 变体（如 WGAN 与 WGAN-GP），并在不同数据集上检测模态崩溃？
• RQ4 Geometry Score 是否适用于非可视数据和高维数据集？
• RQ5 在大规模数据集上该方法的计算可行性如何？

主要发现

• Geometry Score 提供了数据和生成样本之间拓扑相似性的定量度量。
• MRLT 分布表明跨尺度的拓扑特征（1D 空洞）的存在性和稳定性。
• 在 MNIST 上，WGAN-GP 对大多数数字的 Geometry Score 通常高于 WGAN，与更高样本质量的期望一致。
• 高质量模型的 CelebA 样本显示的拓扑接近真实数据，而模态崩溃的模型呈现出不同的 MRLT 模式。
• CaloGAN 的分析证明了对非可视数据的适用性及可解释的拓扑差异。
• 在实践中，Geometry Score 可以补充现有度量并指导超参数调整。