[论文解读] A Sober Look at the Unsupervised Learning of Disentangled Representations and their Evaluation

Francesco Locatello, Stefan Bauer+5 more|arXiv (Cornell University)|Sep 1, 2020

Digital Media Forensic Detection被引用 14

一句话总结

本文通过证明在缺乏归纳偏置的情况下，无监督解耦学习在本质上是不可能的，挑战了其可行性。通过对八个数据集上14,000个模型的大规模研究，表明解耦度量存在分歧，超参数和随机种子对性能的影响占主导地位，且解耦并未降低下游任务的样本复杂度——这呼吁明确使用归纳偏置和可复现的评估协议。

ABSTRACT

The idea behind the \emph{unsupervised} learning of \emph{disentangled} representations is that real-world data is generated by a few explanatory factors of variation which can be recovered by unsupervised learning algorithms. In this paper, we provide a sober look at recent progress in the field and challenge some common assumptions. We first theoretically show that the unsupervised learning of disentangled representations is fundamentally impossible without inductive biases on both the models and the data. Then, we train over $14000$ models covering most prominent methods and evaluation metrics in a reproducible large-scale experimental study on eight data sets. We observe that while the different methods successfully enforce properties "encouraged" by the corresponding losses, well-disentangled models seemingly cannot be identified without supervision. Furthermore, different evaluation metrics do not always agree on what should be considered "disentangled" and exhibit systematic differences in the estimation. Finally, increased disentanglement does not seem to necessarily lead to a decreased sample complexity of learning for downstream tasks. Our results suggest that future work on disentanglement learning should be explicit about the role of inductive biases and (implicit) supervision, investigate concrete benefits of enforcing disentanglement of the learned representations, and consider a reproducible experimental setup covering several data sets.

研究动机与目标

• 挑战无监督解耦学习在缺乏归纳偏置的情况下可行的假设。
• 评估当前解耦度量的可靠性及其在不同方法和数据集间的一致性。
• 探究解耦表征是否真的能提高下游任务中的样本效率。
• 通过发布10,000个训练好的模型和一个新库 disentanglement_lib，促进研究的可复现性。
• 对当前无监督解耦学习的现状作出冷静评估，强调隐式监督和模型偏置的作用。

提出的方法

• 理论上证明，若模型和数据均无归纳偏置，则无监督解耦学习在本质上不可能实现。
• 开展大规模实验研究，在八个多样化数据集上使用六种近期的解耦方法训练超过14,000个模型。
• 从零开始实现七种解耦评估度量，以确保可复现性和一致性。
• 采用标准化实验协议，固定网络架构，并对每种方法仅在一个关键超参数上进行超参数搜索。
• 发布 disentanglement_lib，一个用于训练和评估解耦表征的新开源库。
• 发布超过10,000个训练好的模型，作为基线并支持未来研究的可复现性。

实验结果

研究问题

• RQ1 在缺乏对模型和数据的归纳偏置的情况下，无监督解耦学习在本质上是否可能？
• RQ2 不同的解耦评估度量是否就哪些模型具有解耦性达成一致？
• RQ3 与模型选择相比，超参数和随机种子在多大程度上影响了解耦性能？
• RQ4 更高的解耦性是否能降低下游学习任务中的样本复杂度？
• RQ5 在没有真实标签的情况下，能否可靠地识别出表现良好的解耦模型？

主要发现

• 理论分析证明，若模型和数据均无归纳偏置，则无监督解耦学习在本质上不可能实现。
• 尽管在聚合后验中强制实现潜在维度之间的不相关性，但均值表征在不同维度之间仍保持相关性。
• 解耦度量在估计上存在系统性差异，且常就哪些模型最解耦产生分歧。
• 超参数和随机种子对解耦性能的影响强于模型架构的选择。
• 未发现解耦性增强能降低下游分类任务样本复杂度的证据。
• 研究发现，使用相同方法但不同超参数或随机种子训练的模型会产生重叠的解耦分数，表明在缺乏监督的情况下，难以识别出表现良好的模型。