[论文解读] Unsupervised Model Selection for Variational Disentangled Representation Learning

Sunny Duan, Löıc Matthey+5 more|arXiv (Cornell University)|May 29, 2019

Adversarial Robustness in Machine Learning参考文献 46被引用 27

一句话总结

本文提出无监督解耦排序（UDR），一种无需真实标签即可通过变分自编码器的理论洞见来选择最佳解耦表征模型的方法。UDR 利用模型表征的成对比较对模型进行解耦质量排序，在 5,400 个模型上表现与监督指标相当，并与下游任务性能高度相关。

ABSTRACT

Disentangled representations have recently been shown to improve fairness, data efficiency and generalisation in simple supervised and reinforcement learning tasks. To extend the benefits of disentangled representations to more complex domains and practical applications, it is important to enable hyperparameter tuning and model selection of existing unsupervised approaches without requiring access to ground truth attribute labels, which are not available for most datasets. This paper addresses this problem by introducing a simple yet robust and reliable method for unsupervised disentangled model selection. Our approach, Unsupervised Disentanglement Ranking (UDR), leverages the recent theoretical results that explain why variational autoencoders disentangle (Rolinek et al, 2019), to quantify the quality of disentanglement by performing pairwise comparisons between trained model representations. We show that our approach performs comparably to the existing supervised alternatives across 5,400 models from six state of the art unsupervised disentangled representation learning model classes. Furthermore, we show that the ranking produced by our approach correlates well with the final task performance on two different domains.

研究动机与目标

• 解决由于缺乏真实属性标签而导致无监督解耦表征学习中可靠模型选择的缺失问题。
• 克服现有监督解耦度量方法的局限性，这些方法假设存在单一标准因子化形式，并惩罚有效的其他解耦表征。
• 开发一种稳健的无监督方法，可在不同架构和超参数下可靠地对解耦模型进行排序。
• 验证该方法与下游任务性能的相关性，并反映有意义的解耦质量。

提出的方法

• UDR 利用 Rolinek 等人（2019）的理论结果，解释变分自编码器如何通过‘极化状态’实现解耦。
• 通过成对比较训练模型的表征来评估相对解耦质量。
• 通过测量潜在维度在样本间的一致性和语义可解释性，量化解耦程度，使用潜在空间遍历和语义可解释性分析。
• UDR 根据潜在空间遍历的一致性和可解释性对模型进行排序，得分越高表示解耦质量越好。
• 采用基于阈值的分组方法，将模型划分为高、中、低 UDR 得分组，以定性验证排序的可靠性。
• 该方法设计为对潜在维度的排列、符号翻转和子集选取保持不变，与解耦表征的组合性质一致。

实验结果

研究问题

• RQ1 无监督方法能否在无真实标签访问的情况下可靠地对解耦表征模型进行排序？
• RQ2 UDR 方法生成的排序是否与真实世界数据集上的下游任务性能相关？
• RQ3 高分 UDR 模型所学习的表征在不同模型类别中是否始终具有可解释性且相似？
• RQ4 低分模型是否表现出较差的解耦性，例如不可解释或非稀疏的潜在变量？
• RQ5 UDR 方法是否对解耦表征的其他有效因子化形式具有鲁棒性，避免偏向单一标准形式？

主要发现

• UDR 在来自六种最先进无监督解耦表征学习模型类别的 5,400 个模型上，性能与监督解耦度量方法相当。
• UDR 高分模型始终表现出可解释且相似的潜在空间遍历，其中许多潜在维度无信息量或‘关闭’，表明解耦性较强。
• 低 UDR 得分模型表现出不可解释的表征，缺乏无信息量的潜在维度，并在不同模型间表现出高度可变性，表明解耦性差。
• UDR 排名与两个不同领域的最终任务性能高度相关，验证了其实际效用。
• 除 DIP-VAE-I 外，所有模型类别在训练期间均进入‘极化状态’，支持该方法的理论基础。
• 该方法成功避免惩罚有效的其他解耦因子化形式（例如颜色的 HSV 与 RGB），相比现有监督度量更具鲁棒性。