[论文解读] Measuring Disentanglement: A Review of Metrics

Marc-André Carbonneau, Julian Zaïdi+2 more|arXiv (Cornell University)|Dec 16, 2020

Anomaly Detection Techniques and Applications被引用 12

一句话总结

本文对监督式解耦度量进行了全面分析，提出了一套基于干预、预测器和信息论的分类体系。通过受控实验，揭示了各类度量在鲁棒性、校准性以及对噪声和非线性关系的敏感性方面存在显著差异，其中预测器类度量在仔细配置下表现更优，并主张应分别测量解耦属性——显式性、模块性和紧凑性——以实现准确的解释与模型选择。

ABSTRACT

Learning to disentangle and represent factors of variation in data is an important problem in AI. While many advances have been made to learn these representations, it is still unclear how to quantify disentanglement. While several metrics exist, little is known on their implicit assumptions, what they truly measure, and their limits. In consequence, it is difficult to interpret results when comparing different representations. In this work, we survey supervised disentanglement metrics and thoroughly analyze them. We propose a new taxonomy in which all metrics fall into one of three families: intervention-based, predictor-based and information-based. We conduct extensive experiments in which we isolate properties of disentangled representations, allowing stratified comparison along several axes. From our experiment results and analysis, we provide insights on relations between disentangled representation properties. Finally, we share guidelines on how to measure disentanglement.

研究动机与目标

• 为解决现有解耦度量如何衡量表征质量及其隐含假设缺乏清晰理解的问题。
• 建立监督式解耦度量的清晰分类体系，划分为基于干预、基于预测器和基于信息论三类。
• 在受控条件下评估度量，以隔离特定解耦属性（如模块性、紧凑性和对噪声与非线性的鲁棒性）的影响。
• 为现实应用中选择与报告解耦度量提供实用指导。
• 揭示当前度量的局限性，特别是在低数据量情形和隐藏因子存在时的不足，并倡导对解耦属性进行独立测量。

提出的方法

• 作者使用合成数据进行广泛且完全受控的实验，独立操控解耦属性，如模块性、紧凑性和噪声水平。
• 在多个维度上评估12种监督式解耦度量：对噪声的鲁棒性、隐藏因子的影响、非线性关系、校准性以及样本效率。
• 度量被划分为三类：基于干预的（如DCI）、基于预测器的（如MIG、SAP）和基于信息论的（如MI、MIG变体），各类具有不同的计算与统计假设。
• 研究采用与表征无关的框架，将度量评估与表征学习过程解耦，以隔离度量行为本身。
• 通过多次运行并报告标准差来评估统计显著性，并为每种度量经验确定最小样本量要求。
• 作者发布代码，以支持可复现性并促进对解耦度量的进一步基准测试。

((a)) Cars3D

实验结果

研究问题

• RQ1 在表征属性（如模块性、紧凑性和噪声）发生受控变化时，不同解耦度量的表现如何？
• RQ2 在现实条件下，各类度量家族（基于干预、基于预测器、基于信息论）的隐含假设与局限性是什么？
• RQ3 度量在不同数据分布下的相关性如何？为何它们在模型选择上有时会不一致？
• RQ4 数据稀缺、噪声或因子-代码间非线性关系如何影响度量的可靠性与估计误差？
• RQ5 报告解耦分数的最佳策略是什么，以确保可解释性与统计有效性？

主要发现

• 在仔细调优后，预测器类度量在鲁棒性、校准性和跨多种条件的一致性方面优于其他类别。
• 信息论类度量在数据有限时表现更优，但在离散化和非线性关系下存在高方差与可靠性差的问题。
• 基于干预的度量对超参数选择敏感，且校准性差，尤其在低数据量情形下更为明显。
• 在复杂、现实的数据集上，度量分数之间相关性极低，即使模型完全相同，也表明各类度量衡量的是不同的潜在属性。
• 对连续因子进行离散化会显著降低所有度量的可靠性，尤其在数据量有限时，估计误差在N=10,000样本时仍持续存在。
• 分别测量解耦属性（显式性、模块性和紧凑性）至关重要，因为全局分数可能具有误导性，会掩盖单个因子间性能失衡的问题。

((b)) SmallNORB