[论文解读] Covariant Compositional Networks For Learning Graphs

Risi Kondor, Hy Truong Son+3 more|arXiv (Cornell University)|Jan 7, 2018

Advanced Graph Neural Networks参考文献 39被引用 88

一句话总结

本文提出了用于图的协变组合网络（CCNs），通过在置换下强制协变性并通过张量表示来实现更高的表达能力，相较于传统的不变消息传递神经网络具有改进。

ABSTRACT

Most existing neural networks for learning graphs address permutation invariance by conceiving of the network as a message passing scheme, where each node sums the feature vectors coming from its neighbors. We argue that this imposes a limitation on their representation power, and instead propose a new general architecture for representing objects consisting of a hierarchy of parts, which we call Covariant Compositional Networks (CCNs). Here, covariance means that the activation of each neuron must transform in a specific way under permutations, similarly to steerability in CNNs. We achieve covariance by making each activation transform according to a tensor representation of the permutation group, and derive the corresponding tensor aggregation rules that each neuron must implement. Experiments show that CCNs can outperform competing methods on standard graph learning benchmarks.

研究动机与目标

• 动机并形式化对图的不变消息传递神经网络（MPNNs）的局限性。
• 提出通过置换群的张量表示来实现对置换协变性的协变组合网络。
• 建立一个通用的 comp-net 框架，并展示标准图神经模型如何成为其特例。
• 推导在图层次结构中保持协变性的张量聚合规则。
• 在标准图基准测试中展示相对于标量 MPNNs 的经验改进。

提出的方法

• 将组合网络（comp-nets）定义为带有对应原子部分和用于分层表示的感受野的有向无环图（DAG）。
• 引入置换不变性与协变性原则，以确保表示不依赖于顶点标签。
• 证明标准 MPNNs 是 comp-nets 的特例，并讨论其表达能力的局限性。
• 引入协变型 comp-nets，其中激活按置换群的张量表示进行变换（一级、二级、三级协变量等）。
• 使用张量收缩推导聚合规则（例如一级的 Pπ，二级的 Pπ ⊗ Pπ），以保持协变性。
• 将层与感受野相关联，并根据定义的表示，定义在其感受野的置换下 f_i（或 F_i）如何变换。

实验结果

研究问题

• RQ1 由于在顶点置换下的不变性设计，当前图学习方法如何限制表示能力？
• RQ2 通过强制协变性而非仅仅置换不变性，图表示是否可以得到提升？
• RQ3 在图的 comp-nets 中实现协变激活的合适张量化框架是什么？
• RQ4 协变型 comp-nets 如何与现有的消息传递神经网络相关并进行泛化？
• RQ5 在标准图基准测试上，CCNs 的现实意义和潜在性能提升是什么？

主要发现

• CCNs 提供了一种通过张量激活在图表示中合乎原则地引入置换协变性的方法。
• 标准的 MPNNs 可以作为 comp-net 框架中的一个特例得到恢复。
• 协变激活可以组织为在置换群下的一阶、二阶及更高阶张量表示。
• 聚合规则对应于高阶张量与置换表示的收缩。
• 实验结果表明，在标准图学习基准测试上，CCNs 能超越标量 MPNNs。