[论文解读] SCAN: Learning Abstract Hierarchical Compositional Visual Concepts

Irina Higgins, Nicolas Sonnerat+6 more|arXiv (Cornell University)|Jul 11, 2017

Genomics and Phylogenetic Studies参考文献 16被引用 18

一句话总结

SCAN 是一种通过将符号与从 beta-VAE 派生的解耦视觉表征相关联，来学习抽象、分层且组合性视觉概念的框架。它支持符号与图像之间的双向生成，支持概念的符号操作，并可通过最少的配对数据实现新概念的发现。

ABSTRACT

The natural world is infinitely diverse, yet this diversity arises from a relatively small set of coherent properties and rules, such as the laws of physics or chemistry. We conjecture that biological intelligent systems are able to survive within their diverse environments by discovering the regularities that arise from these rules primarily through unsupervised experiences, and representing this knowledge as abstract concepts. Such representations possess useful properties of compositionality and hierarchical organisation, which allow intelligent agents to recombine a finite set of conceptual building blocks into an exponentially large set of useful new concepts. This paper describes SCAN (Symbol-Concept Association Network), a new framework for learning such concepts in the visual domain. We first use the previously published beta-VAE (Higgins et al., 2017a) architecture to learn a disentangled representation of the latent structure of the visual world, before training SCAN to extract abstract concepts grounded in such disentangled visual primitives through fast symbol association. Our approach requires very few pairings between symbols and images and makes no assumptions about the choice of symbol representations. Once trained, SCAN is capable of multimodal bi-directional inference, generating a diverse set of image samples from symbolic descriptions and vice versa. It also allows for traversal and manipulation of the implicit hierarchy of compositional visual concepts through symbolic instructions and learnt logical recombination operations. Such manipulations enable SCAN to invent and learn novel visual concepts through recombination of the few learnt concepts.

研究动机与目标

• 建模智能体如何从无监督视觉经验中发现并表征抽象、组合性视觉概念。
• 开发一种框架，通过最少的配对数据学习解耦视觉表征，并将其与符号概念关联。
• 利用学习到的符号-概念关联机制，实现在符号与图像之间的多模态、双向推理。
• 支持视觉概念的分层遍历与逻辑重组，以实现新概念的生成。
• 证明对学习到的概念进行符号操作，可在无需额外训练的情况下生成新的、有意义的视觉概念。

提出的方法

• 首先，应用 beta-VAE 学习视觉数据的解耦潜在表征，分离出潜在的变异因素。
• 训练一个符号-概念关联网络（SCAN），将符号映射到这些解耦的视觉基元，且不对符号格式做任何假设。
• 使用少量符号-图像配对样例，训练 SCAN 以实现视觉特征与符号之间的快速、端到端关联。
• 实现双向生成：利用符号描述生成图像，并通过学习到的关联关系从图像中重建符号。
• 实现符号操作，如逻辑重组与遍历，以探索视觉概念的隐含层次结构。
• 通过重新组合已知符号及其关联的视觉基元，实现新视觉概念的零样本发现。

实验结果

研究问题

• RQ1 模型能否从无监督视觉数据和少量符号-图像配对中学习到抽象、组合性视觉概念？
• RQ2 对学习到的概念进行符号操作，能在多大程度上生成新颖且有意义的视觉概念？
• RQ3 模型在符号与图像之间的双向生成任务中表现如何？
• RQ4 模型能否通过符号指令遍历并操作视觉概念的层次结构？
• RQ5 解耦表征是否能提升概念学习的可解释性与泛化能力？

主要发现

• SCAN 仅使用少量符号-图像配对，即可实现符号与图像之间的有效双向生成，展现出强大的零样本泛化能力。
• 该模型能从符号描述中成功生成多样化且语义上合理的图像样本，即使面对训练中未见的组合亦然。
• 通过逻辑重组实现的符号操作，可发现训练过程中未见过的新视觉概念。
• 通过 beta-VAE 学习到的解耦表征，为视觉概念的组合与推理提供了坚实基础。
• SCAN 支持视觉概念的分层遍历，使用户可通过符号指令系统探索概念空间。
• 该框架无需对符号表征形式做任何假设，因而具有高度灵活性，适用于多种符号类型。