[论文解读] A Lagrangian Approach to Information Propagation in Graph Neural Networks

Matteo Tiezzi, Giuseppe Marra+3 more|arXiv (Cornell University)|Feb 18, 2020

Advanced Graph Neural Networks参考文献 24被引用 7

一句话总结

该论文提出了一种图神经网络（GNN）的拉格朗日框架，将固定点状态计算直接嵌入约束条件中，从而在训练过程中消除了对迭代扩散的依赖。通过联合搜索拉格朗日乘子、节点状态和权重的鞍点，该方法在更简单、浅层的架构下实现了具有竞争力的性能，在图分类基准测试中优于或匹配了更深的模型，且无需显式地进行固定点松弛。

ABSTRACT

In many real world applications, data are characterized by a complex structure, that can be naturally encoded as a graph. In the last years, the popularity of deep learning techniques has renewed the interest in neural models able to process complex patterns. In particular, inspired by the Graph Neural Network (GNN) model, different architectures have been proposed to extend the original GNN scheme. GNNs exploit a set of state variables, each assigned to a graph node, and a diffusion mechanism of the states among neighbor nodes, to implement an iterative procedure to compute the fixed point of the (learnable) state transition function. In this paper, we propose a novel approach to the state computation and the learning algorithm for GNNs, based on a constraint optimisation task solved in the Lagrangian framework. The state convergence procedure is implicitly expressed by the constraint satisfaction mechanism and does not require a separate iterative phase for each epoch of the learning procedure. In fact, the computational structure is based on the search for saddle points of the Lagrangian in the adjoint space composed of weights, neural outputs (node states), and Lagrange multipliers. The proposed approach is compared experimentally with other popular models for processing graphs.

研究动机与目标

• 解决传统GNN在每个训练周期中因迭代固定点计算而导致的计算效率低下问题。
• 将GNN学习重新表述为拉格朗日框架下的约束优化问题，以统一状态与权重的优化过程。
• 通过将收敛性嵌入约束满足中，消除对单独迭代扩散阶段的需求。
• 评估一种采用拉格朗日优化的更简单、浅层GNN架构是否能在图分类任务中达到或超越更深、更复杂的GNN模型的性能。
• 通过解耦扩散机制与深层特征提取机制，探究其在GNN性能中的作用。

提出的方法

• 将GNN学习建模为一个约束优化问题，通过拉格朗日约束强制节点状态收敛。
• 在伴随空间中定义一个关于权重、节点状态（神经网络输出）和拉格朗日乘子的拉格朗日函数。
• 通过寻找拉格朗日函数的鞍点实现联合优化，隐式强制状态收敛，而无需显式迭代。
• 采用原始-对偶优化方案，在训练过程中同时更新权重、节点状态和拉格朗日乘子。
• 采用灵活的约束函数G(⋅)来建模固定点条件，从而提升模型的鲁棒性与泛化能力。
• 将该方法集成到GNN框架中，使状态转移函数通过拉格朗日函数的反向传播实现端到端学习。

实验结果

研究问题

• RQ1 能否通过约束条件将GNN中的固定点状态计算直接嵌入学习目标，从而避免迭代优化？
• RQ2 基于拉格朗日的优化框架是否能够在无需独立迭代阶段的情况下，实现节点状态与模型权重的联合学习？
• RQ3 采用拉格朗日传播的浅层GNN是否能在图分类任务中实现与更深、更复杂GNN模型相当的性能？
• RQ4 将扩散过程与深层特征提取机制解耦后，对模型性能与泛化能力有何影响？
• RQ5 不同约束函数对模型鲁棒性与收敛行为有何影响？

主要发现

• 所提出的LP-GNN框架在使用更简单、浅层架构的情况下，性能与当前最先进的GNN模型（如GCN、DGCNN和GIN-GNN）相比具有竞争力或更优。
• 在Cora、PubMed和PTC等基准数据集上，LP-GNN的平均准确率与更深的模型相当或更优，其报告的准确率与更复杂的架构相比不相上下或更优。
• 该方法在训练过程中消除了对迭代固定点计算的需求，简化了计算流程并降低了训练开销。
• 扩散与深层表征机制的分离表明，仅依靠有效的信息传播，即使节点表征较浅，也能实现优异的性能。
• 在学习率、隐藏单元数和dropout比率等超参数上的调优显示，多种配置下性能均保持稳定，表明模型具有良好的鲁棒性。
• 基于约束的建模方式允许通过选择不同的约束函数G(⋅)，灵活地集成其他固定点优化策略。