[论文解读] Graph Element Networks: adaptive, structured computation and memory

Ferran Alet, Adarsh K. Jeewajee+4 more|arXiv (Cornell University)|Apr 18, 2019

Advanced Graph Neural Networks参考文献 63被引用 22

一句话总结

本文提出图元素网络（GENs），一种利用可学习、自适应图结构在连续域上建模空间函数的方法，无需预定义实体。通过将空间位置视为图神经网络（GNN）中的节点，并优化其位置与连接关系，GENs 实现了结构化、可微分的计算，能够泛化至不同空间尺寸与分辨率，且在偏微分方程（PDE）求解、机器人动力学与新视角生成任务中达到最先进性能，同时支持灵活的精度-计算权衡。

ABSTRACT

We explore the use of graph neural networks (GNNs) to model spatial processes in which there is no a priori graphical structure. Similar to finite element analysis, we assign nodes of a GNN to spatial locations and use a computational process defined on the graph to model the relationship between an initial function defined over a space and a resulting function in the same space. We use GNNs as a computational substrate, and show that the locations of the nodes in space as well as their connectivity can be optimized to focus on the most complex parts of the space. Moreover, this representational strategy allows the learned input-output relationship to generalize over the size of the underlying space and run the same model at different levels of precision, trading computation for accuracy. We demonstrate this method on a traditional PDE problem, a physical prediction problem from robotics, and learning to predict scene images from novel viewpoints.

研究动机与目标

• 为解决现有图神经网络（GNN）需预定义实体的局限性，提出一种无需预先结构假设即可建模空间过程的方法。
• 通过单一学习模型实现在不同空间尺度与分辨率下的泛化，避免针对新尺寸或粒度重新训练。
• 开发一种可微分、结构化的计算基础，使节点位置与连接关系能自适应调整，聚焦于复杂空间区域。
• 在多种任务中验证方法的有效性：求解偏微分方程（PDE）、预测机器人推动物体的动力学行为，以及从未见相机姿态生成新视角。

提出的方法

• 将连续空间域表示为可学习图结构，其中节点对应空间位置，边定义局部连接关系。
• 使用权重共享的图神经网络（GNN）在节点间传播信息，通过迭代消息传递将输入函数（如温度、力）转换为输出函数（如预测状态）。
• 在训练过程中优化节点位置与图连接关系，使计算资源集中于空间复杂度较高的区域。
• 通过邻近节点状态的线性加权插值，在空间任意查询点处对潜在节点表征进行插值，实现连续输出预测。
• 集成学习编码器与解码器，将输入数据（如图像、位姿）映射至潜在空间并从中恢复，支持结构化空间任务的端到端训练。
• 通过复用权重并调整图拓扑结构，使相同模型架构适用于不同尺寸或采样方式的空间，实现对尺度与分辨率的不变性。

实验结果

研究问题

• RQ1 基于图神经网络（GNN）的模型是否能在不重新训练的情况下泛化至不同空间尺度与分辨率？
• RQ2 图结构本身是否可被优化以适应空间复杂度，从而在关注区域提升准确性？
• RQ3 图神经网络（GNN）能否在不假设预定义实体或刚性网格的前提下建模连续空间过程？
• RQ4 与现有方法相比，该模型在涉及物理动力学与新视角生成任务中的表现如何？
• RQ5 当测试场景的尺寸或复杂度超过训练时所见范围时，模型是否仍能保持性能？

主要发现

• GENs 在新视角预测任务中达到的分类准确率与神经过程（Neural Processes, NPs）无统计学差异，但训练所需轮次约为其一半。
• 随着场景尺寸增大（如尺寸递增的超级迷宫），GENs 性能保持稳定，而 NPs 在更大迷宫中性能显著下降。
• GENs 在无需重新训练或修改架构的情况下，有效泛化至不同形状与尺寸的场景，包括由多个迷宫组成的超级迷宫。
• 模型通过自适应调整节点位置与连接关系，能够将计算资源集中于复杂空间区域，从而提升效率与准确性。
• GENs 在涉及任意形状物体的物理预测任务中表现出强大泛化能力，即使动力学不遵循偏微分方程（PDE）亦成立。
• 通过调整图神经网络（GNN）消息传递步数与节点密度，该方法可灵活实现计算与精度之间的权衡。