[论文解读] MONet: Unsupervised Scene Decomposition and Representation

Christopher Burgess, Löıc Matthey+5 more|arXiv (Cornell University)|Jan 22, 2019

Advanced Neural Network Applications参考文献 32被引用 194

一句话总结

MONet 是一个无监督模型，使用循环注意力网络和共享 VAE 将场景分解为类对象的组件，学习解耦表示并在3D和2D数据集上处理遮挡。

ABSTRACT

The ability to decompose scenes in terms of abstract building blocks is crucial for general intelligence. Where those basic building blocks share meaningful properties, interactions and other regularities across scenes, such decompositions can simplify reasoning and facilitate imagination of novel scenarios. In particular, representing perceptual observations in terms of entities should improve data efficiency and transfer performance on a wide range of tasks. Thus we need models capable of discovering useful decompositions of scenes by identifying units with such regularities and representing them in a common format. To address this problem, we have developed the Multi-Object Network (MONet). In this model, a VAE is trained end-to-end together with a recurrent attention network -- in a purely unsupervised manner -- to provide attention masks around, and reconstructions of, regions of images. We show that this model is capable of learning to decompose and represent challenging 3D scenes into semantically meaningful components, such as objects and background elements.

研究动机与目标

• 将学习场景表示为可分解的对象以改进推理和数据效率。
• 开发一个无监督架构，用公共潜在空间将场景分割成多个组件。
• 实现对遮挡和可变数量对象的处理，而无需有标签的分割。
• 展示对具有更多/更少对象和新配置的场景的泛化。
• 表明学习到的组件产生解耦、可解释的潜在因子。

提出的方法

• 使用循环注意力网络生成覆盖场景的一系列掩码，且无需监督。
• 将每个被遮罩区域建模为一个组件 VAE，仅重建被遮罩的像素，允许对被遮挡区域进行推断。
• 端到端训练，损失包含 VAE 重建、对每个槽的潜在变量的 KL 正则化，以及将注意掩码与解码掩码对齐的 KL 项。
• 维持一个作用域变量，确保掩码覆盖整幅图像在 K 个槽上的总和为1。
• 允许可变的槽数（K），并在测试时对具有更多或更少对象的场景进行泛化。
• 使用超参数 beta 和 gamma 进行优化，分别控制解耦和掩码建模。

实验结果

研究问题

• RQ1 MONet 是否能够在无监督的情况下将复杂场景分解为语义上有意义的对象？
• RQ2 学到的掩码是否对应于场景中的有意义元素，如对象、墙面和背景？
• RQ3 MONet 能否处理遮挡和变动对象数，并对未见过的配置进行泛化？
• RQ4 各槽位的潜在表征是否解耦成可解释的特征？
• RQ5 组合处理对重建效率和准确性有何影响？

主要发现

• MONet 实现对非平凡3D场景的无监督分解为对象和背景元素。
• 模型在测试时对额外槽位（如9槽）和训练时见到对象数更多的场景具有泛化能力。
• 槽内的潜在因子显示解耦，具有可通过遍历控制的可解释特征。
• MONet 能在有遮挡的对象和高度重叠的形状的场景中（Objects Room、Multi-dSprites、CLEVR）进行准确分割和重建。
• 该方法对遮挡区域具有一致的修补效果，并展示跨数据集的鲁棒性。