[论文解读] Disentangling Factors of Variation Using Few Labels

Francesco Locatello, Michael Tschannen+4 more|arXiv (Cornell University)|May 3, 2019

Spectroscopy and Chemometric Analyses参考文献 70被引用 50

一句话总结

本论文表明，极少量带标签的数据即可指导无监督和半监督的分解学习，从而在大规模实验中实现可靠的解耦表示和有效的模型选择（超过52,000个模型）。

ABSTRACT

Learning disentangled representations is considered a cornerstone problem in representation learning. Recently, Locatello et al. (2019) demonstrated that unsupervised disentanglement learning without inductive biases is theoretically impossible and that existing inductive biases and unsupervised methods do not allow to consistently learn disentangled representations. However, in many practical settings, one might have access to a limited amount of supervision, for example through manual labeling of (some) factors of variation in a few training examples. In this paper, we investigate the impact of such supervision on state-of-the-art disentanglement methods and perform a large scale study, training over 52000 models under well-defined and reproducible experimental conditions. We observe that a small number of labeled examples (0.01--0.5\% of the data set), with potentially imprecise and incomplete labels, is sufficient to perform model selection on state-of-the-art unsupervised models. Further, we investigate the benefit of incorporating supervision into the training process. Overall, we empirically validate that with little and imprecise supervision it is possible to reliably learn disentangled representations.

研究动机与目标

• 以有限的监督为动力，推动实际的解耦学习。
• 量化少量标签对最先进方法的模型选择与训练的影响。
• 评估在标签不精确和部分标注条件下监督的鲁棒性。
• 提供在解耦表示学习中使用有限监督的实用指南。

提出的方法

• 评估标准解耦指标在仅使用极少量标签时是否能识别出良好的模型。
• 在四个数据集上训练超过52,000个模型，在不同标签条件下使用100或1000个标签。
• 比较无监督训练配有监督验证（U/S）与在训练阶段使用监督的半监督训练（S2/S）。
• 将一个简单的监督正则项整合到损失函数中，将标签信息融入训练（R_s），并评估其影响。
• 使用模型选择指标（MIG、DCI Disentanglement、SAP）和测试指标来评估解耦。
• 检验对不完美标签（分箱、噪声、部分标签）和标签置换的鲁棒性。

实验结果

研究问题

• RQ1 少量带标签的样本是否足以从无监督训练中选择出良好的解耦模型？
• RQ2 将有限监督纳入训练是否优于带监督验证的无监督训练？
• RQ3 这些监督方法对标签噪声、不精确和部分标注的鲁棒性如何？
• RQ4 结果是否在多种标准解耦数据集上具有普遍性？

主要发现

• 少量标签（数据的0.01–0.5%）足以对无监督解耦方法进行模型选择。
• 带监督验证的无监督训练能够可靠地学习解耦表示。
• 在训练中加入监督通常优于仅带验证的无监督训练。
• 半监督训练对标签噪声和部分/粗略标签具有鲁棒性。
• 以粗略方式标注更多因素往往比对少量因素的细粒度标注更有帮助。
• 该方法为在现实任务中利用解耦表示提供了实用指南。