[论文解读] Exploiting Edge-Oriented Reasoning for 3D Point-based Scene Graph Analysis

Chaoyi Zhang, Jianhui Yu+2 more|arXiv (Cornell University)|Mar 9, 2021

Advanced Graph Neural Networks参考文献 55被引用 5

一句话总结

本文提出 SGG_point，一种基于3D点云的场景图生成框架，通过引入 EdgeGCN 模型，利用多维边特征显式建模物体之间的相互关系。通过引入孪生节点-边注意力机制，EdgeGCN 实现了节点与边表征的联合、双向演化，在3D场景图生成和传统图表示学习基准上均取得了最先进性能。

ABSTRACT

Scene understanding is a critical problem in computer vision. In this paper, we propose a 3D point-based scene graph generation ($\mathbf{SGG_{point}}$) framework to effectively bridge perception and reasoning to achieve scene understanding via three sequential stages, namely scene graph construction, reasoning, and inference. Within the reasoning stage, an EDGE-oriented Graph Convolutional Network ($ exttt{EdgeGCN}$) is created to exploit multi-dimensional edge features for explicit relationship modeling, together with the exploration of two associated twinning interaction mechanisms between nodes and edges for the independent evolution of scene graph representations. Overall, our integrated $\mathbf{SGG_{point}}$ framework is established to seek and infer scene structures of interest from both real-world and synthetic 3D point-based scenes. Our experimental results show promising edge-oriented reasoning effects on scene graph generation studies. We also demonstrate our method advantage on several traditional graph representation learning benchmark datasets, including the node-wise classification on citation networks and whole-graph recognition problems for molecular analysis.

研究动机与目标

• 为填补基于3D点云的场景图分析中的空白，通过显式建模物体间关系，超越以物体为中心的识别任务。
• 通过统一的3D场景图生成流程，融合感知与推理，提升场景理解能力。
• 设计一种图神经网络架构，将节点与边视为共同演化的孪生表征，以增强推理能力。
• 在3D场景理解任务与传统图表示学习基准上验证所提方法的有效性。

提出的方法

• 提出 EdgeGCN 架构，显式利用多维边特征实现3D场景图中的关系建模。
• 引入两种孪生交互机制：一种用于节点到边的注意力，另一种用于边到节点的注意力，实现特征的双向演化。
• 设计三阶段流程：场景图构建、基于 EdgeGCN 的推理、面向3D点云场景的推理。
• 通过移除边演化分支，将 EdgeGCN 适配于传统图学习任务，支持在引文与分子数据集上的评估。
• 在 EdgeGCN 中采用消息传递机制，通过注意力聚合方式整合节点与边特征。
• 使用 PyTorch Geometric 与 DGL 实现并评估模型，在引文网络（Cora、CiteSeer、Pubmed）与分子数据集（Tox21、BBBP）上进行实验。

实验结果

研究问题

• RQ1 通过在点云场景中显式建模物体间关系，以边为导向的推理是否能显著提升3D场景图生成性能？
• RQ2 孪生节点-边注意力机制如何增强场景图推理中节点与边表征的联合演化？
• RQ3 EdgeGCN 架构在3D场景理解之外，是否能泛化到标准图表示学习任务？
• RQ4 所提出的 EdgeGCN 是否在节点分类与图识别基准上优于现有 GNN 模型（如 GCN 与 GAT）？

主要发现

• EdgeGCN 在基于3D点云的场景图生成任务中达到最先进性能，验证了以边为导向推理的有效性。
• 在引文网络中，EdgeGCN 在 Cora 上达到 81.6% 的准确率（较 GCN 提升 +1.3%），CiteSeer 上为 69.4%（+1.7% 超过 GCN），Pubmed 上为 78.7%。
• 在分子图识别任务中，EdgeGCN 在 Tox21 上达到 73.7% AUC（较 GCN 提升 +0.6%），BBBP 上为 64.6%（+0.3% 超过 GCN）。
• 消融实验表明，与无共演化设计的基线相比，孪生注意力机制显著提升了性能。
• EdgeGCN 在所有基准数据集上均优于 GAT 与 EGNN 变体，展现出强鲁棒性与泛化能力。
• 该方法在3D场景理解与传统图学习任务中均表现出良好泛化性，验证了其架构设计的有效性。