[论文解读] Deep Temporal Graph Clustering

Meng Liu, Yue Liu+5 more|arXiv (Cornell University)|May 18, 2023

Complex Network Analysis Techniques被引用 25

一句话总结

本论文提出 TGC，一种用于时序图的无监督聚类通用框架，将深度聚类模块适应于互动序列批处理，在可扩展性和聚类性能方面优于静态图方法。

ABSTRACT

Deep graph clustering has recently received significant attention due to its ability to enhance the representation learning capabilities of models in unsupervised scenarios. Nevertheless, deep clustering for temporal graphs, which could capture crucial dynamic interaction information, has not been fully explored. It means that in many clustering-oriented real-world scenarios, temporal graphs can only be processed as static graphs. This not only causes the loss of dynamic information but also triggers huge computational consumption. To solve the problem, we propose a general framework for deep Temporal Graph Clustering called TGC, which introduces deep clustering techniques to suit the interaction sequence-based batch-processing pattern of temporal graphs. In addition, we discuss differences between temporal graph clustering and static graph clustering from several levels. To verify the superiority of the proposed framework TGC, we conduct extensive experiments. The experimental results show that temporal graph clustering enables more flexibility in finding a balance between time and space requirements, and our framework can effectively improve the performance of existing temporal graph learning methods. The code is released: https://github.com/MGitHubL/Deep-Temporal-Graph-Clustering.

研究动机与目标

• 激励需要进行保留动态交互信息的时序图聚类。
• 提出一个通用、可扩展的框架（TGC），将聚类技术适应于基于批处理的时序数据。
• 在时序图上实现有效的节点聚类，同时缓解内存瓶颈。
• 展示该框架对现有时序图学习模型的可迁移性。

提出的方法

• 将两种经典的深度聚类组件适配到时序图：节点级分布和批量级重建。
• 使用受 Hawkes 过程启发的时序损失来建模交互动态。
• 实现节点级软分配 q 和目标分布 p，以通过 KL 散度损失 L_node 驱动聚类。
• 实现基于余弦相似度的批量级伪重建损失 L_batch，以在批内保留局部邻接关系。
• 总体聚类损失 L_clu = L_node + L_batch，与时序损失 L_tem 结合，形成端到端目标 L = 对边的求和 (L_tem + L_clu)。
• 将复杂度分析为 O(|E|)，并展示相对于 O(N^2) 静态邻接矩阵聚类的内存优势。

实验结果

研究问题

• RQ1 如何将聚类模块重新表述为适应时序图的批处理模式？
• RQ2 相较于静态图，时序图在聚类方面是否提供内存和可扩展性优势？
• RQ3 将所提出的 TGC 框架应用于现有的时序图模型是否能提升聚类性能？
• RQ4 时序图聚类在数据、复杂度和可迁移性方面的实际考量有哪些？
• RQ5 限制和数据要求对时序图聚类发展的阻碍是什么？

主要发现

• TGC 实现了内存高效的时序聚类，复杂度约为 O(|E|)，通常远低于静态的 O(N^2) 方法。
• 时序批处理使在大规模时序图（如 arXivAI/arXivCS）上实现有效聚类成为可能，而静态方法在此处困难重重或内存耗尽。
• 通过将时序动态引入聚类损失，TGC 在多种时序图基线（如 HTNE、TGN、TREND）上提升聚类性能。
• 时序图聚类在通过批大小调整平衡时间与空间需求方面显示出灵活性。
• 两个新颖数据集（arXivAI、arXivCS）证明了对来自领域的节点标签的大型时序图的适用性，能够进行聚类评估。
• 实验表明 TGC 经常获得领先的汇总结果，并缓解大型图上的内存瓶颈。