[论文解读] Simplicial Convolutional Neural Networks

Maosheng Yang, Elvin Isufi+1 more|arXiv (Cornell University)|Oct 6, 2021

Complex Network Analysis Techniques被引用 10

一句话总结

本文提出了一种单纯复形卷积神经网络（SCNN），通过基于霍奇拉普拉斯算子的灵活单纯复形滤波器，从高阶网络结构（如边、三角形及更高阶单纯形）的数据中进行学习。SCNN 实现了多跳邻域聚合与谱可解释性，在共作者单纯复形上的引用补全任务中优于先前方法，尤其在高维单纯形（k ≥ 2）上表现更优，在高缺失数据率下准确率高出 1–2%。

ABSTRACT

Graphs can model networked data by representing them as nodes and their pairwise relationships as edges. Recently, signal processing and neural networks have been extended to process and learn from data on graphs, with achievements in tasks like graph signal reconstruction, graph or node classifications, and link prediction. However, these methods are only suitable for data defined on the nodes of a graph. In this paper, we propose a simplicial convolutional neural network (SCNN) architecture to learn from data defined on simplices, e.g., nodes, edges, triangles, etc. We study the SCNN permutation and orientation equivariance, complexity, and spectral analysis. Finally, we test the SCNN performance for imputing citations on a coauthorship complex.

研究动机与目标

• 为解决图方法仅处理节点上数据的局限性，将神经网络扩展至单纯复形中定义于更高阶单纯形（如边、三角形等）的数据上。
• 通过整合多跳邻域信息与梯度和旋度分量的独立处理，开发出比先前单纯复形神经网络更具表达力和灵活性的卷积架构。
• 通过证明排列等变性与流信号方向等变性，确保模型尊重拓扑对称性。
• 通过单纯复形傅里叶变换提供谱可解释性，实现在频域中分析滤波器响应。
• 在真实世界的共作者单纯复形引用补全任务中对 SCNN 进行实证验证，证明其性能优于现有方法。

提出的方法

• SCNN 使用由下层与上层拉普拉斯算子（霍奇拉普拉斯算子分量）线性组合构成的单纯复形滤波器，实现对单纯信号梯度与旋度子分量的独立处理。
• 通过类似卷积的操作应用滤波器，聚合来自多跳下层与上层邻近单纯形的信号，增强感受野与表达能力。
• 在单纯复形滤波后应用逐元素非线性激活（LeakyReLU），形成类似标准残差块的层结构。
• 架构设计为对单纯形排序具有排列等变性，对流信号具有方向等变性，从而保持拓扑对称性。
• 通过单纯复形傅里叶变换进行谱分析，表明 SCNN 层在频域中实现输入谱与滤波器响应的逐点相乘。
• 使用 Adam 优化器，以已知引用值的 ℓ₁ 损失进行训练，缺失值以中位数插补替代。

实验结果

研究问题

• RQ1 单纯复形卷积神经网络能否有效学习定义于更高阶单纯形（如边、三角形）上的数据，而不仅限于节点？
• RQ2 与先前将梯度和旋度响应耦合的模型相比，所提出的 SCNN 使用灵活的单纯复形滤波器在表达能力上如何提升？
• RQ3 SCNN 在多大程度上保持对单纯形排列与流方向的等变性，从而确保对拓扑对称性的鲁棒性？
• RQ4 通过单纯复形傅里叶变换进行的谱解释是否能为学习到的特征与滤波器行为提供有意义的洞察？
• RQ5 SCNN 在真实世界任务（如共作者单纯复形上的引用补全）中，相较于最先进方法表现如何？

主要发现

• SCNN 的收敛速度更快，训练损失更低，归因于其通过独立处理梯度与旋度分量带来的更高表达能力。
• 对于 k ≥ 2，SCNN 在所有缺失数据率（10% 至 50%）下均比 SNN 基线高出 1–2% 的补全准确率，尤其在高缺失率下差异具有统计显著性。
• 在 50% 缺失引用的情况下，SCNN 在 5-单纯形（含 6 位作者的论文）上达到 61% 的准确率，而 SNN 为 60%，表明其在高维单纯形上具有更优的泛化能力。
• 模型在不同单纯形维度上均保持稳健性能，准确率随缺失率增加而逐渐下降，但下降速度慢于 SNN。
• 谱分析结果证实，SCNN 层表现为频带选择性滤波器，对梯度与旋度分量呈现不同响应，验证了其谱可解释性。
• 流的参考方向对性能影响极小，表明模型在不同拓扑约定下具有稳定性。