[论文解读] Simplicial Attention Networks

Christopher Wei Jin Goh, Cristian Bodnar+1 more|arXiv (Cornell University)|Apr 20, 2022

Advanced Graph Neural Networks被引用 11

一句话总结

Simplicial Attention Networks (SAT) 引入了一种可微的、基于注意力的消息传递机制，用于单纯复形，通过带符号注意力实现邻居单纯形的动态加权和方向等变性。SAT 在图像和轨迹分类任务中优于图神经网络（GNN）和卷积型 SNN，其在 MNIST 超像素分类任务中达到 92.99% 的准确率，在具有方向等变激活函数的轨迹分类任务中达到 93.80% 的准确率。

ABSTRACT

Graph representation learning methods have mostly been limited to the modelling of node-wise interactions. Recently, there has been an increased interest in understanding how higher-order structures can be utilised to further enhance the learning abilities of graph neural networks (GNNs) in combinatorial spaces. Simplicial Neural Networks (SNNs) naturally model these interactions by performing message passing on simplicial complexes, higher-dimensional generalisations of graphs. Nonetheless, the computations performed by most existent SNNs are strictly tied to the combinatorial structure of the complex. Leveraging the success of attention mechanisms in structured domains, we propose Simplicial Attention Networks (SAT), a new type of simplicial network that dynamically weighs the interactions between neighbouring simplicies and can readily adapt to novel structures. Additionally, we propose a signed attention mechanism that makes SAT orientation equivariant, a desirable property for models operating on (co)chain complexes. We demonstrate that SAT outperforms existent convolutional SNNs and GNNs in two image and trajectory classification tasks.

研究动机与目标

• 为解决现有单纯型神经网络（SNN）受限于固定组合结构计算方式的局限性，该局限性会损害模型在新型单纯复形上的泛化能力。
• 将注意力机制整合到 SNN 中，以实现对邻居单纯形的动态、特征依赖性加权，从而提升模型的表达能力。
• 通过引入带符号注意力系数，确保 SNN 的方向等变性，从而增强对（共）链复形中方向变化的鲁棒性。
• 通过实证验证 SAT 在涉及高阶相互作用的结构化数据任务中，优于 GNN 和卷积型 SNN。

提出的方法

• SAT 使用可学习的注意力系数，在单纯复形上执行消息传递，动态加权来自上下邻接关系中邻居单纯形的贡献。
• 模型采用多头注意力机制，结合缩放点积注意力，其中查询、键和值向量均源自节点、边或更高维单纯形的特征。
• 引入带符号注意力系数以确保方向等变性，其中注意力权重根据相邻单纯形之间的相对方向，通过方向因子 $ o_{\sigma,\tau} \in \{\pm 1\} $ 进行调整。
• Hodge 拉普拉斯算子作为单纯复形结构的理论基础，其中 $ \mathbf{L}_k = \mathbf{B}_k^\top \mathbf{B}_k + \mathbf{B}_{k+1} \mathbf{B}_{k+1}^\top $ 定义了第 $ k $ 阶的拉普拉斯算子。
• 对于分类任务，SAT 采用分层 GNN 设置，包含 3 或 4 层，随后接全局平均池化层和多层感知机分类头，输出使用 softmax 激活。
• 模型使用 Adam 优化器进行训练，配合权重衰减和基于最佳训练性能的早停策略。

实验结果

研究问题

• RQ1 注意力机制是否能通过实现对邻居单纯形的动态、特征依赖性聚合，提升单纯型神经网络在一般化能力方面的表现？
• RQ2 注意力机制如何适配以在有向单纯复形中保持方向等变性？
• RQ3 在涉及高阶结构的任务中，SNN 中的可学习注意力机制是否优于固定、卷积型的消息传递机制？
• RQ4 SAT 是否能在未见过的单纯复形结构上实现优于现有 SNN 和 GNN 的泛化能力？

主要发现

• SAT 在 MNIST 超像素图像分类基准测试中达到 92.99% 的测试准确率，优于 GAT（88.95%）及其他所有 SNN 基线模型。
• 在轨迹分类任务中，SAT 使用 ReLU 激活函数时准确率达到 93.80%，使用恒等激活函数时达到 92.90%，显著优于 SCN（52.80%）和 SCCONV（62.80%）。
• SAT 的方向等变变体表现出强鲁棒性：使用奇数激活函数（如 tanh、恒等函数）的模型测试准确率高于使用 ReLU 的模型，证实了等变性带来的优势。
• SAT 展现出卓越的泛化能力，在图像和轨迹分类任务中均达到最先进性能，且参数量少于大多数基线模型。
• 消融实验表明，带符号注意力和方向等变性对有向复形上的性能至关重要，尤其在测试数据采用随机边方向时更为显著。