[论文解读] From Latent Graph to Latent Topology Inference: Differentiable Cell Complex Module

Claudio Battiloro, Indro Spinelli+4 more|arXiv (Cornell University)|May 25, 2023

Advanced Graph Neural Networks被引用 5

一句话总结

该论文通过可微胞复形模块（DCM）提出潜在拓扑推理（LTI），这是一种可微架构，能够从数据中学习更高阶的稀疏胞复形（包括多边形），以建模超越成对图的多路交互。通过采用两步端到端可训练流程——首先利用改进的 $α$-DGM 学习 1-骨架图，然后通过 $α$-entmax 的稀疏采样推断相关 2-胞（多边形）——DCM 在同质与异质图基准上均优于当前最先进方法，尤其在输入图质量较差或缺失时表现更优。

ABSTRACT

Latent Graph Inference (LGI) relaxed the reliance of Graph Neural Networks (GNNs) on a given graph topology by dynamically learning it. However, most of LGI methods assume to have a (noisy, incomplete, improvable, ...) input graph to rewire and can solely learn regular graph topologies. In the wake of the success of Topological Deep Learning (TDL), we study Latent Topology Inference (LTI) for learning higher-order cell complexes (with sparse and not regular topology) describing multi-way interactions between data points. To this aim, we introduce the Differentiable Cell Complex Module (DCM), a novel learnable function that computes cell probabilities in the complex to improve the downstream task. We show how to integrate DCM with cell complex message passing networks layers and train it in a end-to-end fashion, thanks to a two-step inference procedure that avoids an exhaustive search across all possible cells in the input, thus maintaining scalability. Our model is tested on several homophilic and heterophilic graph datasets and it is shown to outperform other state-of-the-art techniques, offering significant improvements especially in cases where an input graph is not provided.

研究动机与目标

• 为解决图神经网络（GNNs）依赖于固定或次优输入图拓扑的局限性，通过实现动态、更高阶拓扑结构的端到端学习来克服该问题。
• 将潜在图推理（LGI）推广至更高阶复形，特别是规则胞复形，以建模数据点之间的多路交互。
• 通过引入可扩展的两步推理程序，克服对所有可能更高阶胞单元进行穷举搜索的计算不可行性。
• 提升节点分类任务中的下游性能，特别是在输入图与数据结构对齐较差的异质性设置下。
• 证明即使输入图存在噪声或无信息量，所学习的潜在拓扑仍能实现高同质性与鲁棒性。

提出的方法

• 提出可微胞复形模块（DCM），一种可学习的函数，用于计算将更高阶胞单元（多边形）包含在胞复形中的概率。
• 采用两步推理流程：首先通过改进的 $α$-可微图模块（$α$-DGM）学习 1-骨架图，克服了先前 DGM 在拓扑结构上的限制。
• 其次，利用多边形推理模块（PIM）学习应包含在复形中的 2-胞（三角形、四边形等），基于节点和边的表示。
• 利用 $α$-entmax 家族函数实现候选多边形的稀疏、可微采样，从而实现对潜在更高阶交互的高效且可扩展的搜索。
• 将 DCM 与图神经网络（GNN）和胞复形神经网络（CCNN）的消息传递层集成，实现联合优化。
• 使用可微的、参数可微的损失函数对整个架构进行端到端训练，支持拓扑结构与表征学习的联合优化。

实验结果

研究问题

• RQ1 是否存在一种可微、可学习的框架，能够从数据中推断出超越固定图或输入图的更高阶拓扑结构（胞复形）？
• RQ2 如何在保持表达能力与可扩展性的同时，降低对所有可能更高阶胞单元进行搜索的计算成本？
• RQ3 学习潜在胞复形是否能提升节点分类任务的性能，特别是在输入图次优的异质性设置下？
• RQ4 即使输入图具有异质性，所推断的拓扑结构在多大程度上表现出同质性特征？
• RQ5 当未提供输入图时，DCM 是否仍能泛化并实现具有竞争力的性能？

主要发现

• DCM 在多个同质与异质图基准上达到最先进性能，优于现有潜在图推理方法。
• 在 Texas 数据集上，推断的 1-骨架图的同质性水平从初始输入的 0.11 提升至最终学习图的 0.99，表明其具有强烈的向同质结构自组织的能力。
• 即使输入图不具信息量，模型仍保持高性能，展现出对劣质或噪声图输入的鲁棒性。
• 训练过程中采样多边形的百分比（$\%_{p}$）从 100% 降低至 20%，表明实现了有效的稀疏化与有意义的高阶交互选择。
• 所学图的度分布高度分散，且大多数推断的多边形属于同一类别，证实了模型学习有意义、类别一致的多路交互的能力。
• 消融研究证实，两步推理流程以及使用 $α$-entmax 实现稀疏可微采样对实现高性能至关重要。