[论文解读] Factor Graph Neural Network

Zhen Zhang, Fan Wu+1 more|arXiv (Cornell University)|Jun 3, 2019

Advanced Graph Neural Networks参考文献 29被引用 12

一句话总结

本文提出因子图神经网络（FGNN），一种新颖的深度学习架构，通过因子图将图神经网络扩展以建模高阶依赖关系。通过将消息传递结构化为变量到因子和因子到变量的模块，FGNN 可精确参数化最大后验概率信念传播（Max-Product Belief Propagation），并在 3D 语义分割任务上达到最先进性能，在部件分割任务上也取得具有竞争力的结果。

ABSTRACT

Most of the successful deep neural network architectures are structured, often consisting of elements like convolutional neural networks and gated recurrent neural networks. Recently, graph neural networks have been successfully applied to graph structured data such as point cloud and molecular data. These networks often only consider pairwise dependencies, as they operate on a graph structure. We generalize the graph neural network into a factor graph neural network (FGNN) in order to capture higher order dependencies. We show that FGNN is able to represent Max-Product Belief Propagation, an approximate inference algorithm on probabilistic graphical models; hence it is able to do well when Max-Product does well. Promising results on both synthetic and real datasets demonstrate the effectiveness of the proposed model.

研究动机与目标

• 解决标准图神经网络在建模成对关系之外的高阶依赖关系方面的局限性。
• 将概率图模型推理（特别是最大后验概率信念传播）整合到可学习的神经架构中。
• 实现从数据中端到端学习潜在表征和消息传递规则，当传统推理方法失效时提升性能。
• 在具有结构约束的合成与真实世界 3D 点云数据集上验证 FGNN 的有效性。
• 提供一个统一框架，通过因子图结构泛化图神经网络与信念传播。

提出的方法

• 将因子图定义为包含变量节点和因子节点的二分图，其中因子表示变量之间的高阶依赖关系。
• 设计两个核心模块：变量到因子（VF）和因子到变量（FV），每个模块均具有可学习参数，用于聚合和传播消息。
• 通过顺序堆叠 VF 和 FV 模块构建 FGNN 层，实现在因子图上的迭代消息传递。
• 证明 FGNN 架构可精确表示最大后验概率信念传播算法，确保在信念传播有效时达到最优性能。
• 在 3D 点云上通过 k-近邻因子构建实现 FGNN，其中每个因子包含一个点及其邻居，边特征由坐标差值导出。
• 使用 Adam 优化器配合学习率衰减进行端到端训练，结合残差连接和 Dropout 以实现正则化。

实验结果

研究问题

• RQ1 能否设计一种神经网络架构，以捕捉结构化数据中成对交互之外的高阶依赖关系？
• RQ2 神经网络在多大程度上能够模仿或改进近似推理算法（如最大后验概率信念传播）？
• RQ3 所提出的 FGNN 架构是否在具有复杂结构约束的任务上优于现有 GNN 和点云模型？
• RQ4 FGNN 是否能在标注有限的真实世界 3D 点云数据集上实现高效且可扩展的实现？
• RQ5 将概率图模型语义整合到深度学习框架中，如何提升泛化能力与归纳偏置？

主要发现

• 在 S3DIS 3D 语义分割基准上，FGNN 达到 60.0 的平均交并比（IoU），优于 PointNet、DGCNN 和 PointCNN。
• 在 ShapeNet 部件数据集上，FGNN 达到 84.7 的平均 IoU，优于 PointNet（83.7）和 DGCNN（85.1），在大多数类别上与或超过 PointCNN。
• 在 S3DIS 上，模型整体准确率达到 85.5%，显著优于 PointNet（53.2%）和 DGCNN（84.1%）。
• 在部件分割中，FGNN 在 16 个类别中的 10 个类别上取得最高 IoU，包括在 'Guitar' 类别中达到 95.3%，超过 PointCNN 的 92.3%。
• 在特定情况下，FGNN 框架可转化为标准的消息传递 GNN，从而可通过现有 MPNN 框架实现高效部署。
• 消融实验确认，因子图结构和消息传递机制对于捕捉复杂依赖关系至关重要，尤其在受限的合成任务中。