[论文解读] Challenging Common Assumptions in the Unsupervised Learning of Disentangled Representations

Francesco Locatello, Stefan Bauer+5 more|arXiv (Cornell University)|Nov 29, 2018

Anomaly Detection Techniques and Applications被引用 612

一句话总结

本文证明无监督解耦需要先验偏置，进行了大规模的实证研究，显示超参数和随机种子主导结果，并发现解耦对下游样本效率没有明确的好处。

ABSTRACT

The key idea behind the unsupervised learning of disentangled representations is that real-world data is generated by a few explanatory factors of variation which can be recovered by unsupervised learning algorithms. In this paper, we provide a sober look at recent progress in the field and challenge some common assumptions. We first theoretically show that the unsupervised learning of disentangled representations is fundamentally impossible without inductive biases on both the models and the data. Then, we train more than 12000 models covering most prominent methods and evaluation metrics in a reproducible large-scale experimental study on seven different data sets. We observe that while the different methods successfully enforce properties ``encouraged'' by the corresponding losses, well-disentangled models seemingly cannot be identified without supervision. Furthermore, increased disentanglement does not seem to lead to a decreased sample complexity of learning for downstream tasks. Our results suggest that future work on disentanglement learning should be explicit about the role of inductive biases and (implicit) supervision, investigate concrete benefits of enforcing disentanglement of the learned representations, and consider a reproducible experimental setup covering several data sets.

研究动机与目标

• 在理论上建立无监督解耦需要对模型和数据的先验偏置。
• 在可重复的设定下，实证评估六种解耦方法和六种度量在七个数据集上的表现。
• 评估解耦是否与下游任务性能和样本效率的改进相关。

提出的方法

• 形式化地证明仅靠带因子化先验的纯无监督解耦不可能。
• 从零实现六种最近的无监督解耦方法和六种度量。
• 在固定架构、七个数据集、多个随机种子和超参数下训练超过12,000个模型。
• 使用 disentanglement_lib 训练和评估表征，并提供一个大型、可重复的基准。
• 分析聚合后验因子化与均值表征独立性之间的相关性。
• 考察解耦分数、超参数、种子与下游任务性能之间的关系。

实验结果

研究问题

• RQ1 在模型或数据没有先验偏置的情况下，是否可能实现无监督解耦？
• RQ2 当前的无监督方法是否能在不同数据集和度量下可靠地产生解耦表示？
• RQ3 超参数、随机种子和模型选择如何影响解耦分数及其对下游任务的有用性？
• RQ4 解耦表征真的有助于下游学习的样本效率吗？

主要发现

• 在模型和数据上没有先验偏置的情况下，无法可靠实现无监督解耦。
• 聚合后验可以被因子化，但均值表征往往显示维度相关，这挑战了常见的解耦假设。
• 随机种子和超参数显著影响结果；相比之下，模型选择的预测性不如调参。
• 解耦度量倾向于相关，但相关强度因数据集而异；模块性与其他度量的行为不同。
• 没有一致的证据表明更高的解耦能提升下游任务的样本效率或降低数据需求。
• 一个可重复的实验设置和对先验偏置的明确考虑，对于解耦表征学习的进展至关重要。