[论文解读] High-Order Pooling for Graph Neural Networks with Tensor Decomposition

Chenqing Hua, Guillaume Rabusseau+1 more|arXiv (Cornell University)|May 24, 2022

Tensor decomposition and applications被引用 6

一句话总结

该论文提出 tGNN，一种基于对称 CP 分解的张量化图神经网络，通过排列不变的多线性映射来建模节点特征之间的高阶非线性交互。该方法通过将标准池化层替换为可学习、表达能力强的基于 CP 的聚合层，在多个 OGB 基准测试中实现了最先进性能，显著提升了节点分类和图分类的准确率，同时保持了计算效率。

ABSTRACT

Graph Neural Networks (GNNs) are attracting growing attention due to their effectiveness and flexibility in modeling a variety of graph-structured data. Exiting GNN architectures usually adopt simple pooling operations (eg. sum, average, max) when aggregating messages from a local neighborhood for updating node representation or pooling node representations from the entire graph to compute the graph representation. Though simple and effective, these linear operations do not model high-order non-linear interactions among nodes. We propose the Tensorized Graph Neural Network (tGNN), a highly expressive GNN architecture relying on tensor decomposition to model high-order non-linear node interactions. tGNN leverages the symmetric CP decomposition to efficiently parameterize permutation-invariant multilinear maps for modeling node interactions. Theoretical and empirical analysis on both node and graph classification tasks show the superiority of tGNN over competitive baselines. In particular, tGNN achieves the most solid results on two OGB node classification datasets and one OGB graph classification dataset.

研究动机与目标

• 为解决标准线性池化操作（如求和、平均、最大值）在图神经网络中表达能力有限的问题，这些操作无法有效建模节点之间的高阶非线性交互。
• 开发一种计算高效的算法，能够在不引入指数级复杂度的前提下，捕捉节点表示之间的复杂多线性交互。
• 设计一种基于对称张量分解的排列不变聚合层，其泛化能力与容量均优于传统池化函数。
• 通过实证验证所提出的基于 CP 的池化层在多种真实世界数据集上的节点分类与图分类任务中的优越性。
• 证明通过张量分解学习到的高阶交互能够生成比现有 GNN 架构更具表达力的节点与图表示。

提出的方法

• 论文提出一种基于对称 CANDECOMP/PARAFAC（CP）分解的 CP 层，用于参数化节点表示上的排列不变多线性映射。
• 通过将高阶张量分解为若干秩一张量之和，CP 层高效地建模了高阶非线性交互，实现了参数高效的计算。
• 该方法将 CP 层作为标准池化函数在 GNN 中的即插即用替代品，用可学习且表达力强的替代方案取代求和或平均池化。
• 该架构结合了低阶线性池化（如求和）与高阶非线性 CP 池化，通过可学习的线性组合来平衡两者的贡献。
• 理论分析证明，CP 层能够计算任意排列不变的多线性多项式，包括求和与平均池化，并且在概率为 1 的条件下，其表达能力严格强于上述两种方法。
• 模型通过标准 GNN 反向传播进行端到端训练，CP 层参数通过梯度下降法更新。

实验结果

研究问题

• RQ1 基于张量分解的聚合层是否能比标准线性池化操作更有效地建模节点特征之间的高阶非线性交互？
• RQ2 在 GNN 的背景下，所提出的 CP 层是否普遍比经典求和与平均池化函数更具表达能力？
• RQ3 将高阶 CP 池化集成到 GNN 中是否能提升其在节点分类与图分类基准测试中的性能？
• RQ4 随着张量分解秩的增加，模型表达能力与计算成本之间的权衡如何变化？
• RQ5 所提出的方法是否能在包括引文网络与分子图在内的多种图数据集上实现良好泛化？

主要发现

• tGNN 在两个 OGB 节点分类数据集（ogbn-mag 和 ogbn-arxiv）和一个 OGB 图分类数据集（ogbg-molpcba）上实现了最先进性能，优于多种竞争基线模型。
• 在 Cora 和 PubMed 引文网络上，消融实验表明，仅使用高阶 CP 池化即可优于低阶线性池化，而两者结合则取得最佳结果。
• 随着分解秩的增加，模型仅获得微小的准确率提升，而基线模型在隐藏维度增大时性能趋于饱和，表明 tGNN 具备更优的可扩展性与表达能力。
• 在 CPU 上的实验表明，tGNN 在相同参数预算与时间约束下，训练速度具有竞争力，且准确率优于 GCN、GAT 和 GCN2。
• 消融实验表明，同时包含低阶线性池化与高阶 CP 池除了单独使用任一组件外，性能更优，凸显了多尺度交互建模的重要性。
• 理论分析确认，任何由随机 CP 层计算的函数均无法仅通过求和或平均池化实现，从而确立了 CP 层在表达能力上的严格优势。