[论文解读] Strongly Local Hypergraph Diffusions for Clustering and Semi-supervised Learning

Meng Liu, Nate Veldt+3 more|arXiv (Cornell University)|Nov 16, 2020

Complex Network Analysis Techniques参考文献 60被引用 5

一句话总结

本文提出了一种强局部超图扩散方法，用于聚类和半监督学习，其基于个性化PageRank启发的二次超图割目标函数。该方法在大规模超图上展现出高可扩展性和高精度，百万条边数据集的运行时间仅需数秒，同时支持多样的割函数，并通过类似Cheeger的界提供了理论保证。

ABSTRACT

Hypergraph-based machine learning methods are now widely recognized as important for modeling and using higher-order and multiway relationships between data objects. Local hypergraph clustering and semi-supervised learning specifically involve finding a well-connected set of nodes near a given set of labeled vertices. Although many methods for local clustering exist for graphs, there are relatively few for localized clustering in hypergraphs. Moreover, those that exist often lack flexibility to model a general class of hypergraph cut functions or cannot scale to large problems. To tackle these issues, this paper proposes a new diffusion-based hypergraph clustering algorithm that solves a quadratic hypergraph cut based objective akin to a hypergraph analog of Andersen-Chung-Lang personalized PageRank clustering for graphs. We prove that, for graphs with fixed maximum hyperedge size, this method is strongly local, meaning that its runtime only depends on the size of the output instead of the size of the hypergraph and is highly scalable. Moreover, our method enables us to compute with a wide variety of cardinality-based hypergraph cut functions. We also prove that the clusters found by solving the new objective function satisfy a Cheeger-like quality guarantee. We demonstrate that on large real-world hypergraphs our new method finds better clusters and runs much faster than existing approaches. Specifically, it runs in few seconds for hypergraphs with a few million hyperedges compared with minutes for flow-based technique. We furthermore show that our framework is general enough that can also be used to solve other p-norm based cut objectives on hypergraphs. Our code is available \url{github.com/MengLiuPurdue/LHQD}.

研究动机与目标

• 为解决现有超图聚类算法在灵活性、可扩展性和强局部性方面的不足，特别是难以处理多样化超图割函数的问题。
• 开发一种基于扩散的方法，其计算复杂度与输出规模相关而非超图规模，从而实现在大规模数据集上的快速计算。
• 通过基于二次割目标函数的推广，将个性化PageRank推广至超图，支持基于基数的和p-范数的割函数。
• 通过类似Cheeger的界，为所生成聚类提供聚类质量的理论保证。
• 在真实世界超图上，与现有基于流和基于扩散的基线方法相比，展示出在速度和精度上的优越性能。

提出的方法

• 提出一种基于二次目标函数的超图扩散框架，将个性化PageRank推广至超图。
• 采用一种新颖的公式化方法，无需依赖团或星形展开，即可灵活建模各种基于基数的超图割函数。
• 采用带自适应稀疏化的幂迭代法高效求解扩散问题，确保运行时间仅依赖于输出规模。
• 引入一个参数化惩罚函数，参数δ用于在全有或全无惩罚与基于基数的惩罚之间插值，以实现对聚类质量的控制。
• 采用由参数κ控制的稀疏化策略，在保持解质量的同时维持计算效率。
• 使用阻尼参数γ控制从种子节点扩散的范围，从而实现对生成聚类大小的控制。

实验结果

研究问题

• RQ1 基于扩散的超图聚类方法是否既能实现强局部性，又能灵活建模多样化的超图割函数？
• RQ2 所提出的方法在大规模真实世界超图上是否相比现有基于流和基于扩散的方法具有更高的准确率和可扩展性？
• RQ3 该方法能否为所生成解提供聚类质量的理论保证，例如类似Cheeger的界？
• RQ4 在真实世界数据集中，该方法在不同种子集大小和超图结构下的表现如何？
• RQ5 该框架能否扩展以支持超出二次情况的p-范数割目标？

主要发现

• 所提出的LH-2.0方法在Stack Overflow数据集上实现了0.66的中位F1分数，优于基于流和其他基于扩散的方法，在准确率和速度上均表现更优。
• 在同一数据集中，LH-2.0平均运行时间为3.69秒，显著快于基于流的方法（48.28秒）和其他基于扩散的变体。
• 对于小规模种子集（节点数的0.1%），LH-1.4和LH-2.0保持较高的F1分数（中位数约0.65–0.74），而采用OneHop移除的基于流方法难以有效扩展聚类。
• 该方法实现了类似Cheeger的质量保证，确保所发现的聚类在超图割函数下具有良好的连通性和平衡性。
• 该算法与输入规模呈亚线性扩展，运行时间仅依赖于输出聚类规模，证实了其强局部特性。
• 该框架具有足够的通用性，可支持p-范数割目标，从而在二次割之外实现更广泛的应用。