[论文解读] Convolutional Learning on Simplicial Complexes

Maosheng Yang, Elvin Isufi|arXiv (Cornell University)|Jan 26, 2023

Topological and Geometric Data Analysis被引用 6

一句话总结

本文提出了一种单纯复形卷积神经网络（SCCNN），通过基于公共面和余面的低阶与高阶邻接关系，在单纯复形上执行多跳卷积，实现了对高阶结构的学习。该方法具备排列与方向等变性，通过霍奇理论实现谱分析，并在单纯形与轨迹预测任务中展现出相较于先前基于GNN的模型更优的稳定性和性能。

ABSTRACT

We propose a simplicial complex convolutional neural network (SCCNN) to learn data representations on simplicial complexes. It performs convolutions based on the multi-hop simplicial adjacencies via common faces and cofaces independently and captures the inter-simplicial couplings, generalizing state-of-the-art. Upon studying symmetries of the simplicial domain and the data space, it is shown to be permutation and orientation equivariant, thus, incorporating such inductive biases. Based on the Hodge theory, we perform a spectral analysis to understand how SCCNNs regulate data in different frequencies, showing that the convolutions via faces and cofaces operate in two orthogonal data spaces. Lastly, we study the stability of SCCNNs to domain deformations and examine the effects of various factors. Empirical results show the benefits of higher-order convolutions and inter-simplicial couplings in simplex prediction and trajectory prediction.

研究动机与目标

• 为解决图神经网络（GNN）在建模现实世界数据中多价关系（如社交群体、基因网络、合作者协作）时的局限性。
• 开发一种神经网络框架，以捕捉不同单纯形阶次（如节点、边、三角形）之间的跨单纯形耦合，同时推广最先进GNN模型。
• 将排列与方向等变性等归纳偏置嵌入到单纯复形上的学习中。
• 利用霍奇理论，提供对SCCNN如何在不同频率带调节数据的谱理解。
• 分析SCCNN对域形变的稳定性，以及高阶卷积在鲁棒表示学习中的作用。

提出的方法

• 提出一种单纯复形卷积神经网络（SCCNN），对每个单纯形阶次独立执行基于低阶邻接（基于面）和高阶邻接（基于余面）的多跳卷积。
• 使用关联矩阵 $\mathbf{B}_k$ 表示单纯复形的邻接关系，并通过霍奇拉普拉斯算子在谱域定义卷积滤波器。
• 通过群论分析强制实现排列与方向等变性，将对称性嵌入网络架构中。
• 利用梯度与旋度分量的霍奇分解执行谱分析，以解释不同卷积如何在正交子空间中调节数据。
• 引入积分利普希茨正则化项 $r_{\rm{IL}}$，通过约束滤波器对域扰动的响应，提升稳定性。
• 使用幂迭代法近似霍奇拉普拉斯算子的特征频率，以高效计算正则化项，而无需完整特征分解。

(a) SC example

实验结果

研究问题

• RQ1 如何在保持跨单纯形耦合的前提下，将基于图的消息传递机制推广到更高阶的单纯复形结构？
• RQ2 单纯复形及其上定义的数据中存在哪些对称性？这些对称性如何作为归纳偏置嵌入神经网络？
• RQ3 SCCNN中的低阶与高阶邻接关系如何在不同谱子空间中调节数据？霍奇分解在此过程中的作用是什么？
• RQ4 高阶卷积与跨单纯形耦合在单纯形与轨迹预测任务中的性能提升中起到多大作用？
• RQ5 卷积滤波器的积分利普希茨性质在何种程度上影响SCCNN对域形变的稳定性？

主要发现

• SCCNN在单纯形预测与合成轨迹预测任务中优于标准GNN与PSNN，SCCNN-Edge在 $T=2$ 时达到 65.2 ± 4.1% 的准确率。
• 积分利普希茨正则化项显著提升了稳定性，尤其在高阶滤波器中，有效降低了对 $\mathbf{L}_{1,{\rm{d}}}$ 与 $\mathbf{L}_{1,{\rm{u}}}$ 扰动的输出敏感性。
• SCNN在 $T_{\rm{d}}=T_{\rm{u}}=5$ 时的预测准确率优于PSNN，同时在扰动下保持鲁棒性。
• 采用 $r_{\rm{IL}}$ 正则化的训练SCNN展现出低于未正则化版本的积分利普希茨常数，证实了稳定性提升。
• 谱分析结果表明，低阶与高阶卷积分别作用于两个正交的数据子空间，对应于霍奇分解的梯度与旋度分量。
• 实证结果表明，高阶卷积与跨单纯形耦合对于捕捉高阶网络中的复杂关系模式至关重要。

(b) Lower edge convolutions