[论文解读] Learning Physical Graph Representations from Visual Scenes

Daniel M. Bear, Chaofei Fan+9 more|arXiv (Cornell University)|Jun 22, 2020

Human Pose and Action Recognition参考文献 52被引用 44

一句话总结

PSGNet 学习物理场景图（PSGs），将场景表示为分层的、以对象为中心的图，并在真实世界场景分割上优于 CNN 基于自监督方法，受运动线索与知觉分组原理的辅助。

ABSTRACT

Convolutional Neural Networks (CNNs) have proved exceptional at learning representations for visual object categorization. However, CNNs do not explicitly encode objects, parts, and their physical properties, which has limited CNNs' success on tasks that require structured understanding of visual scenes. To overcome these limitations, we introduce the idea of Physical Scene Graphs (PSGs), which represent scenes as hierarchical graphs, with nodes in the hierarchy corresponding intuitively to object parts at different scales, and edges to physical connections between parts. Bound to each node is a vector of latent attributes that intuitively represent object properties such as surface shape and texture. We also describe PSGNet, a network architecture that learns to extract PSGs by reconstructing scenes through a PSG-structured bottleneck. PSGNet augments standard CNNs by including: recurrent feedback connections to combine low and high-level image information; graph pooling and vectorization operations that convert spatially-uniform feature maps into object-centric graph structures; and perceptual grouping principles to encourage the identification of meaningful scene elements. We show that PSGNet outperforms alternative self-supervised scene representation algorithms at scene segmentation tasks, especially on complex real-world images, and generalizes well to unseen object types and scene arrangements. PSGNet is also able learn from physical motion, enhancing scene estimates even for static images. We present a series of ablation studies illustrating the importance of each component of the PSGNet architecture, analyses showing that learned latent attributes capture intuitive scene properties, and illustrate the use of PSGs for compositional scene inference.

研究动机与目标

• 将 Physical Scene Graphs (PSGs) 作为分层、以对象为中心的场景表示，并具备物理意义的节点属性。
• 开发 PSGNet，这是一个通过基于 PSG 的瓶颈来重建场景的自监督架构。
• 将知觉分组原理和基于图的运算融合到从视觉数据学习并渲染 PSGs 的过程。
• 证明 PSGNet 在真实世界图像上的无监督场景分割效果更优，并从运动线索中受益。

提出的方法

• 定义一个分层、基于图的场景表示（PSG），其每个节点属性与图像区域相关联。
• 使用 ConvRNN 主干提取特征并生成用于 PSG 构建的基础张量。
• 应用可学习的图池化与图向量化以迭代地构建 PSG 层。
• 通过图渲染模块将 PSG 渲染回特征图（包括二次纹理渲染和二次形状渲染）。
• 结合知觉分组原理（静态和基于运动）以引导节点之间的亲和度学习。
• 使用 RGB/深度/法线图的自监督重建损失进行训练，并通过 QSR/QTR 基于监督的方法鼓励有意义的对象分割。

实验结果

研究问题

• RQ1 在没有显式监督的情况下，分层的图基表示是否能够学习到有意义的以对象为中心的场景组件？
• RQ2 运动线索是否改善无监督场景分割以及对真实世界图像的泛化？
• RQ3 知觉分组原理与基于图的池化/向量化如何影响场景结构的学习？
• RQ4 学习得到的 PSGs 在不同数据集和对象类型之间的迁移程度如何？

主要发现

模型	Primitives 召回率	Primitives mIoU	Primitives BoundF	Playroom 召回率	Playroom mIoU	Playroom BoundF	Gibson 召回率	Gibson mIoU	Gibson BoundF	Gibson ARI
MONet	0.35	0.40	0.46	0.28	0.34	0.46	0.06	0.12	0.15	0.27
IODINE	0.63	0.54	0.57	0.09	0.15	0.17	0.11	0.15	0.14	0.30
Q++ (RGBDN)	0.55	0.54	0.62	0.50	0.53	0.65	0.20	0.20	0.24	0.45
OP3	-	-	-	0.24	0.28	0.31	-	-	-	-
PSGNetS	0.75	0.65	0.70	0.64	0.57	0.66	0.34	0.38	0.37	0.53
PSGNetM	-	-	-	0.70	0.62	0.70	-	-	-	-

• PSGNet 在 Primitives、Playroom 和 Gibson 数据集上的无监督场景分割显著超过 MONet、IODINE 和 OP3 基线。
• 采用 PSGNetS 的静态训练实现强分割，PSGNetS 在 Primitives 上优于基线，在 Gibson 上实现了合理的分解。
• 基于运动的训练（PSGNetM）进一步提升 Playroom 上的分割，并通过学习到的运动线索提升静态图像的表现。
• PSGNet 展示出强迁移性：在一个数据集上训练的模型能够在对象模型重叠有限的情况下合理迁移到另一个数据集。
• 消融实验显示局部递归、反馈和二次渲染等组件对性能有显著贡献；深度/法线监督有提升作用，但并非收益的严格前提。