[论文解读] Evaluating the Disentanglement of Deep Generative Models through Manifold Topology

Sharon Zhou, Eric Zelikman+4 more|arXiv (Cornell University)|May 3, 2021

Topological and Geometric Data Analysis参考文献 47被引用 6

一句话总结

本文提出了一种新颖且自包含的方法，通过分析学习表征中条件子流形的拓扑相似性，来评估深度生成模型中的解耦程度。该方法利用流形拓扑，无需外部模型或数据集特定假设，可在多个数据集上对最先进模型实现一致的排序，提供了一种稳健且可泛化的解耦度量方法。

ABSTRACT

Learning disentangled representations is regarded as a fundamental task for improving the generalization, robustness, and interpretability of generative models. However, measuring disentanglement has been challenging and inconsistent, often dependent on an ad-hoc external model or specific to a certain dataset. To address this, we present a method for quantifying disentanglement that only uses the generative model, by measuring the topological similarity of conditional submanifolds in the learned representation. This method showcases both unsupervised and supervised variants. To illustrate the effectiveness and applicability of our method, we empirically evaluate several state-of-the-art models across multiple datasets. We find that our method ranks models similarly to existing methods. We make our code publicly available at https://github.com/stanfordmlgroup/disentanglement.

研究动机与目标

• 解决深度生成模型中缺乏一致且与模型无关的解耦评估问题。
• 开发一种仅利用生成模型内部表征来量化解耦程度的方法。
• 消除在解耦度量中对外部模型或数据集特定假设的依赖。
• 提供解耦评估框架的无监督和有监督两种变体。
• 在多个最先进模型和数据集上对方法进行实证验证。

提出的方法

• 该方法测量潜在空间中由不同变化因子诱导的条件子流形之间的拓扑相似性。
• 利用持久同调提取这些子流形的拓扑特征，捕捉其结构属性。
• 将子流形拓扑指纹之间的相似性用作解耦质量的代理指标。
• 该方法支持无监督和有监督两种变体，具体取决于可用的监督信号。
• 该方法仅基于生成模型的输出运行，无需额外训练或外部模型。
• 其设计具有跨不同数据集和模型架构的泛化能力。

实验结果

研究问题

• RQ1 条件子流形的拓扑特性是否能可靠地指示深度生成模型中的解耦程度？
• RQ2 所提出的拓扑度量与现有解耦评估方法相比，在一致性和鲁棒性方面表现如何？
• RQ3 在多大程度上可以不依赖外部模型或数据集特定假设来评估解耦程度？
• RQ4 该方法在不同数据集和模型架构上是否保持一致的性能？
• RQ5 该方法是否能有效对最先进生成模型的解耦质量进行排序？

主要发现

• 所提出的方法生成的解耦排序与现有评估方法的结果一致。
• 该方法成功仅利用生成模型的内部表征进行解耦评估，无需外部模型。
• 拓扑相似性度量在多个数据集和模型架构上表现出鲁棒性。
• 该方法的无监督和有监督两种变体均产生可靠且可比的解耦得分。
• 该方法在性能上可与现有成熟度量相媲美，同时更具通用性且对假设的依赖更少。