[论文解读] Incidence Networks for Geometric Deep Learning

Marjan Albooyeh|arXiv (Cornell University)|Jan 1, 2019

Topological and Geometric Data Analysis参考文献 39被引用 11

一句话总结

本文提出了关联网络（Incidence Networks），一种用于结构化几何数据（如图、单纯复形和多面体）的等变深度学习模型家族，通过使用关联张量实现。研究表明，这些张量上的等变线性映射可分解为高效的聚合与广播操作，从而在保持对称性的同时显著减少参数量，其核心结果为：在对称群作用下，此类映射可通过面向量分解系统性地构建。

ABSTRACT

Sparse incidence tensors can represent a variety of structured data. For example, we may represent attributed graphs using their node-node, node-edge, or edge-edge incidence matrices. In higher dimensions, incidence tensors can represent simplicial complexes and polytopes. In this work, we formalize incidence tensors, analyze their structure, and present the family of equivariant networks that operate on them. We show that any incidence tensor decomposes into invariant subsets. This decomposition, in turn, leads to a decomposition of the corresponding equivariant layer that allows efficient and intuitive pooling-and-broadcasting implementation, for both dense and sparse tensors. We demonstrate the effectiveness of this family of networks by reporting state-of-the-art on graph learning tasks for many targets in the QM9 dataset.

研究动机与目标

• 将关联张量形式化为图、单纯复形和多面体等结构化几何数据的统一表示。
• 设计尊重几何结构对称性的等变深度学习模型，尤其在对称群作用下。
• 将关联张量上的等变线性映射分解为高效且参数高效的聚合与广播操作。
• 通过证明现有等变模型（如 Maron 等，2018 年）是所提框架的特例，统一并推广已有模型。
• 通过基于轨道的参数共享和面向量分解，实现高效、模块化且可扩展的几何深度学习。

提出的方法

• 使用稀疏关联张量表示几何数据，编码不同维度面之间的关联模式。
• 采用对称群 SN 作为全局对称群，即使在自同构群各异的情况下，也能在多种几何实例间实现等变性。
• 将关联张量分解为对应于固定大小面的不变子集（轨道），为每个维度形成面向量。
• 将等变线性映射表征为不同大小面向量之间聚合与广播操作的线性组合。
• 通过公式 τm→m′ = ∑m=0min(M,M′) (M choose m)(M′ choose m)m! 推导独立参数的数量，该公式用于计数有效的聚合与广播配置。
• 通过堆叠此类等变层构建关联网络，利用面向量分解在等价结构模式间共享参数。

实验结果

研究问题

• RQ1 如何系统性地使用关联张量表示图、单纯复形和多面体等多样的几何数据结构？
• RQ2 在对称群作用下，关联张量上的等变线性映射具有何种结构？如何对其进行分解？
• RQ3 能否通过用全局对称群替代实例特定的自同构群，使几何数据的等变模型既高效又具备泛化能力？
• RQ4 构建关联张量上所有等变线性映射所需的最小操作集合是什么？如何高效地参数化这些操作？
• RQ5 现有等变模型（如 Maron 等，2018 年）如何融入这种基于聚合与广播操作的统一框架？

主要发现

• 任意关联张量在对称群作用下可分解为不变轨道，对应于固定大小的面，从而支持面向量表示。
• 关联张量上的等变线性映射可分解为高效的聚合与广播操作，其数量由 τm→m′ = ∑m=0min(M,M′) (M choose m)(M′ choose m)m! 给出。
• 单层中独立参数的总数为 τ = ∑m,m′ κ′m′κmτm→m′，远小于朴素参数化方式。
• 该框架统一并推广了现有等变模型（如 Maron 等，2018 年），表明它们是所提聚合与广播构造的特例。
• 对于 D 阶节点-节点-...-节点张量，总参数量为 Bell(2D)，与 Maron 等（2018 年）的结果一致，验证了该框架的一致性。
• 通过用结构化、稀疏感知的聚合与广播操作替代密集权重矩阵，模型实现了参数效率，降低了复杂度，同时保持了等变性。