[论文解读] CAT-Walk: Inductive Hypergraph Learning via Set Walks

Ali Behrouz, Farnoosh Hashemi+2 more|arXiv (Cornell University)|Jun 19, 2023

Complex Network Analysis Techniques被引用 4

一句话总结

CAt-Walk 是一种归纳式超图表征学习方法，采用 SetWalk——一种在超边上的时间性、高阶随机游走——来捕捉时间超图中的动态因果模式。它结合了排列不变的 SetMixer 池化与基于集合的匿名化，实现鲁棒且与身份无关的表征学习，在 10 个基准数据集上的超边预测任务中达到最先进性能，归纳设置下的 AUC 为 96.74% ± 1.28。

ABSTRACT

Temporal hypergraphs provide a powerful paradigm for modeling time-dependent, higher-order interactions in complex systems. Representation learning for hypergraphs is essential for extracting patterns of the higher-order interactions that are critically important in real-world problems in social network analysis, neuroscience, finance, etc. However, existing methods are typically designed only for specific tasks or static hypergraphs. We present CAT-Walk, an inductive method that learns the underlying dynamic laws that govern the temporal and structural processes underlying a temporal hypergraph. CAT-Walk introduces a temporal, higher-order walk on hypergraphs, SetWalk, that extracts higher-order causal patterns. CAT-Walk uses a novel adaptive and permutation invariant pooling strategy, SetMixer, along with a set-based anonymization process that hides the identity of hyperedges. Finally, we present a simple yet effective neural network model to encode hyperedges. Our evaluation on 10 hypergraph benchmark datasets shows that CAT-Walk attains outstanding performance on temporal hyperedge prediction benchmarks in both inductive and transductive settings. It also shows competitive performance with state-of-the-art methods for node classification. (https://github.com/ubc-systopia/CATWalk)

研究动机与目标

• 解决现有超图表征学习方法存在的静态性、归纳性或任务特定性等局限性。
• 开发一种归纳式方法，能够学习时间超图中的动态、高阶交互关系。
• 通过匿名化实现对超边与节点身份不变的鲁棒表征学习。
• 通过捕捉时间与结构因果性，提升超边预测与节点分类的性能。
• 设计一种可扩展、通用的框架，使其在下游任务中具备良好的泛化能力。

提出的方法

• 提出 SetWalk，一种以超边为中心的随机游走方法，通过完整遍历超边而非将其分解为团（clique）来保留高阶语义。
• 采用两步基于集合的匿名化：首先根据节点在采样游走中的频率为其分配位置编码；其次利用 SetMixer 以排列不变的方式将节点编码池化为超边表征。
• 结合时间编码模块与 MLP-Mixer 对不规则采样时间游走进行编码，避免传统序列编码器（如 RNN）的局限性。
• 设计一种新型神经编码模型，从节点采样 SetWalk，并利用生成的游走训练图神经网络以完成下游任务。
• 采用排列不变的池化策略（SetMixer），确保模型对超边内节点顺序不敏感。
• 设计一种既归纳又可泛化的框架，支持对未见超边与节点的零样本预测。

Figure 1: The advantage of SetWalk s in walk-based hypergraph learning.

实验结果

研究问题

• RQ1 以超边为中心的随机游走能否有效捕捉动态超图中的时间与高阶因果模式？
• RQ2 如何在保留结构与时间语义的同时，使表征学习对超边与节点身份保持不变？
• RQ3 非序列、连续时间编码方法是否能在不规则采样时间游走上超越传统的基于 RNN 的序列编码器？
• RQ4 所提出方法是否能在归纳与归纳设置下，于超边预测与节点分类等多个下游任务中实现良好泛化？
• RQ5 SetWalk 相较于基于团展开的游走与现有超图 GNN，在性能上有多大提升？

主要发现

• 在归纳设置下，CAt-Walk 在超边预测任务中达到 96.74% ± 1.28 AUC，显著优于 10 个基准数据集上的所有基线方法。
• 在归纳设置下，CAt-Walk 达到 97.06% ± 3.72 AUC，展现出强大的泛化能力与鲁棒性。
• 该模型在 AUC 与平均精度（Average Precision）指标上均优于最先进方法，如 CHESHIRE、CE-CAW 与 HyperSAGCN。
• 将 MLP-Mixer 替换为 RNN 导致性能持续下降，尤其在时间戳方差较大的数据集中表现更差，证实了连续时间编码的优势。
• SetMixer 的排列不变池化机制可实现高效且稳定的超边表征学习，即使节点顺序发生变化亦能保持性能稳定。
• 该方法在节点分类任务上也表现出具有竞争力的性能，表明其能力不仅限于超边预测，具备广泛适用性。

Figure 2: The advantage of SetWalk s in causality extraction and capturing complex dynamic laws.