[论文解读] Faster way to agony: Discovering hierarchies in directed graphs

Nikolaj Tatti|arXiv (Cornell University)|Feb 4, 2019

Complex Network Analysis Techniques参考文献 15被引用 14

一句话总结

本文提出了一种新的 $O(m^2)$ 算法，用于计算有向图中的痛苦度（agony），这是一种衡量网络结构中层次性违反程度的指标。该方法基于最大欧拉子图的原始-对偶方法，通过迭代减少当前痛苦度与对偶欧拉子图之间的差距，实现了比先前 $O(nm^2)$ 时间复杂度更快的性能，并在大规模真实网络中表现出强大的实际可扩展性。

ABSTRACT

Many real-world phenomena exhibit strong hierarchical structure. Consequently, in many real-world directed social networks vertices do not play equal role. Instead, vertices form a hierarchy such that the edges appear mainly from upper levels to lower levels. Discovering hierarchies from such graphs is a challenging problem that has gained attention. Formally, given a directed graph, we want to partition vertices into levels such that ideally there are only edges from upper levels to lower levels. From computational point of view, the ideal case is when the underlying directed graph is acyclic. In such case, we can partition the vertices into a hierarchy such that there are only edges from upper levels to lower edges. In practice, graphs are rarely acyclic, hence we need to penalize the edges that violate the hierarchy. One practical approach is agony, where each violating edge is penalized based on the severity of the violation. The fastest algorithm for computing agony requires $O(nm^2)$ time. In the paper we present an algorithm for computing agony that has better theoretical bound, namely $O(m^2)$. We also show that in practice the obtained bound is pessimistic and that we can use our algorithm to compute agony for large datasets. Moreover, our algorithm can be used as any-time algorithm.

研究动机与目标

• 开发一种更快的算法，用于计算有向图中层次结构违反程度的痛苦度指标。
• 改进现有 $O(nm^2)$ 时间复杂度的痛苦度计算方法。
• 在大规模真实数据集上展示新算法的实际可扩展性。
• 使该算法可作为任意时间算法，用于近似发现层次结构。

提出的方法

• 该算法采用原始-对偶框架，其中原始问题最小化痛苦度，对偶问题最大化欧拉子图的大小。
• 在每次迭代中，算法通过修改排名函数（原始）或欧拉子图（对偶）来减少对偶间隙。
• 每次迭代的时间复杂度为 $O(m)$，最多需要 $m$ 次迭代，因此总体时间复杂度为 $O(m^2)$。
• 该方法利用了痛苦度与最大欧拉子图之间的对偶性，其中欧拉子图的大小为痛苦度提供了一个下界。
• 算法维护一个当前的排名函数和一个当前的欧拉子图，根据对偶约束的松弛度来更新两者。
• 该方法被设计为任意时间算法，任意迭代步骤的近似质量均受当前欧拉子图大小的约束。

实验结果

研究问题

• RQ1 能否将痛苦度计算的时空复杂度降低至 $O(nm^2)$ 以下？
• RQ2 能否有效利用基于欧拉子图的原始-对偶方法来最小化有向图中的痛苦度？
• RQ3 理论上的 $O(m^2)$ 复杂度是否真实反映在大规模网络上的实际性能？
• RQ4 该算法能否作为任意时间算法，在每一步都提供有界近似质量？

主要发现

• 所提出的算法实现了 $O(m^2)$ 的时间复杂度，显著优于先前的 $O(nm^2)$ 上限。
• 在实践中，该理论复杂度偏保守，该算法在不到 3 小时内即可求解包含超过 500 万个边的图（如 WebGoogle）。
• 对于较小的图（如 Gnutella 和 WikiVote），该算法在数秒到数分钟内完成，相比基线方法性能提升达数量级。
• 在最大数据集（WebGoogle）上，该算法在前 8% 的迭代内即达到近似比 2，表明其具有极强的早期收敛性。
• 任意迭代时刻的当前欧拉子图大小均为最优痛苦度的合法下界，从而支持具有保证边界的任意时间近似。