[论文解读] Are Disentangled Representations Helpful for Abstract Visual Reasoning?

Sjoerd van Steenkiste, Francesco Locatello+2 more|arXiv (Cornell University)|May 29, 2019

Explainable Artificial Intelligence (XAI)参考文献 79被引用 61

一句话总结

研究表明，通过无监督学习得到的更为解耦的表示，在抽象视觉推理任务上具更好的样本效率性能，使用 360 个解耦模型和 3600 个推理模型。

ABSTRACT

A disentangled representation encodes information about the salient factors of variation in the data independently. Although it is often argued that this representational format is useful in learning to solve many real-world down-stream tasks, there is little empirical evidence that supports this claim. In this paper, we conduct a large-scale study that investigates whether disentangled representations are more suitable for abstract reasoning tasks. Using two new tasks similar to Raven's Progressive Matrices, we evaluate the usefulness of the representations learned by 360 state-of-the-art unsupervised disentanglement models. Based on these representations, we train 3600 abstract reasoning models and observe that disentangled representations do in fact lead to better down-stream performance. In particular, they enable quicker learning using fewer samples.

研究动机与目标

• 将解耦表示作为有用的先验，为下游任务在监督设置之外提供帮助。
• 系统性评估广泛的无监督解耦模型在抽象推理任务上的表现。
• 评估解耦是否在多指标上与下游性能相关。
• 量化解耦质量随样本效率提升的关系。

提出的方法

• 基于 dSprites 和 3dshapes 的真实因子，构建两个类似 RPM 的抽象推理任务。
• 训练 360 个无监督解耦模型，覆盖四种方法（β-VAE, FactorVAE, β-TCVAE, DIP-VAE）。
• 从这些模型中提取表示，并训练 3600 个 Wild Relation Networks (WReN) 来解决推理任务。
• 在训练阶段的不同阶段测量下游准确性，并与五个解耦度量（BetaVAE, FactorVAE, MIG, DCI, SAP）和重构误差相关性。
• 比较少样本（few-shot）与大量样本（many-shot）情形，以评估样本效率。

实验结果

研究问题

• RQ1 与 entangled 表示相比，解耦表示是否能提升抽象视觉推理的性能？
• RQ2 下游性能与不同解耦度量在不同样本情形下的关系如何？
• RQ3 是否存在一个情形（少样本 vs 多样本）使解耦带来更强的好处？

主要发现

• 在所考察的抽象视觉推理任务中，更解耦的表示能带来更好的样本效率。
• 在少样本情形中，BetaVAE 和 FactorVAE 的分数与下游准确性相关性最强；MIG 与 SAP 的相关性较弱。
• 重构误差在下游性能中的相关性主要出现在多样本情形，在少样本情形则较弱。
• 在少样本情形下，解耦（如 FactorVAE 得分）与 dSprites 与 3dshapes 两个数据集的性能仍然高度相关。
• 在多样本情形下，最终准确性对解耦度量的依赖性较弱；重构误差成为对性能的更强预测因子。