[论文解读] Invariant and Equivariant Graph Networks

Haggai Maron, Heli Ben-Hamu+2 more|arXiv (Cornell University)|Dec 24, 2018

Advanced Graph Neural Networks被引用 113

一句话总结

本文对(超)图数据的置换不变性和等变性的线性层进行了完整表征，给出基于 Bell-number 的基函数，并证明相对于信息传递网络的通用近似能力。

ABSTRACT

Invariant and equivariant networks have been successfully used for learning images, sets, point clouds, and graphs. A basic challenge in developing such networks is finding the maximal collection of invariant and equivariant linear layers. Although this question is answered for the first three examples (for popular transformations, at-least), a full characterization of invariant and equivariant linear layers for graphs is not known. In this paper we provide a characterization of all permutation invariant and equivariant linear layers for (hyper-)graph data, and show that their dimension, in case of edge-value graph data, is 2 and 15, respectively. More generally, for graph data defined on k-tuples of nodes, the dimension is the k-th and 2k-th Bell numbers. Orthogonal bases for the layers are computed, including generalization to multi-graph data. The constant number of basis elements and their characteristics allow successfully applying the networks to different size graphs. From the theoretical point of view, our results generalize and unify recent advancement in equivariant deep learning. In particular, we show that our model is capable of approximating any message passing neural network Applying these new linear layers in a simple deep neural network framework is shown to achieve comparable results to state-of-the-art and to have better expressivity than previous invariant and equivariant bases.

研究动机与目标

• 在图/超图上以对称性（置换不变性/等变性）为考虑来激发学习。
• 表征以张量编码的图数据的不变性与等变线性层的全空间。
• 提供可计算的正交基并展示基底的极大性及与尺寸无关性（n）。
• 证明该模型能够逼近任何消息传递神经网络，并在图任务上具有竞争力。

提出的方法

• 推导置换不变性（在 P^{⊗k 作用下 L vec(A) 不变）和等变性（在 P^{⊗2k 作用下 L vec(A) 不变） 的固定点方程。
• 使用下标集合的等式模式划分来刻画解空间，导出 Bell-number 大小的基 B^{γ}。
• 构造显式的不变/等变基张量 B^{γ} 与 C^{λ}（及其多重集合/广义形式）来张成解空间。
• 扩展到带偏置的层和带特征的层，推导显式的参数计数和基形式（定理 2）。
• 推广到多重集合节点划分和混合阶张量，得到不变量的维度 ∏ b(k_i) 和等变量的维度 ∏ b(k_i+l_i)。
• 通过表明模型可逼近任何消息传递神经网络来论证其通用性。

实验结果

研究问题

• RQ1 对于图/超图数据，置换不变性/等变线性层的最大维度是多少？
• RQ2 我们能否构造一个正交基来张成所有不变/等变线性层且与图的大小 n 无关？
• RQ3 不变/等变层是否包含或等同于现有图网络（包括消息传递模型）的表达能力？
• RQ4 偏置项和节点特征如何整合到不变/等变线性层框架中？
• RQ5 所提出的基是否可以推广到多节点集合和混合阶张量，同时保持尺寸无关性？

主要发现

• 不变线性层空间 R^{n^k} -> R 的维度为 b(k)（k 的 Bell 数）。
• 等变线性层空间 R^{n^k} -> R^{n^k} 的维度为 b(2k)。
• 对于边值图（k=2），不变层的维度为 2，等变层的维度为 15，与 n 无关。
• 本文提供显式正交基 B^{γ} 和 C^{λ} 来张成这些空间（及它们带偏置的变体）。
• 该框架扩展到多图/多集合情景和混合阶映射，维度为 ∏ b(k_i) 和 ∏ b(k_i+l_i)。
• 附录结果表明该模型可以逼近任何消息传递神经网络，在这种不变/等变线性层范式中确立了通用近似能力。