[论文解读] Detecting Blackholes and Volcanoes in Directed Networks

Zhongmou Li, Hui Xiong+1 more|arXiv (Cornell University)|May 12, 2010

Complex Network Analysis Techniques参考文献 16被引用 5

一句话总结

本文提出了有向网络中的黑洞和火山模式——分别指仅具有入边或仅具有出边的群体——并提出一种高效的两阶段剪枝方法来检测这些模式。iBlackhole-DC 算法通过利用与大小无关的剪枝策略和分治分解，相较于暴力搜索和基线方法实现了数量级的加速，从而实现了在金融网络中可扩展地检测市场操纵模式。

ABSTRACT

In this paper, we formulate a novel problem for finding blackhole and volcano patterns in a large directed graph. Specifically, a blackhole pattern is a group which is made of a set of nodes in a way such that there are only inlinks to this group from the rest nodes in the graph. In contrast, a volcano pattern is a group which only has outlinks to the rest nodes in the graph. Both patterns can be observed in real world. For instance, in a trading network, a blackhole pattern may represent a group of traders who are manipulating the market. In the paper, we first prove that the blackhole mining problem is a dual problem of finding volcanoes. Therefore, we focus on finding the blackhole patterns. Along this line, we design two pruning schemes to guide the blackhole finding process. In the first pruning scheme, we strategically prune the search space based on a set of pattern-size-independent pruning rules and develop an iBlackhole algorithm. The second pruning scheme follows a divide-and-conquer strategy to further exploit the pruning results from the first pruning scheme. Indeed, a target directed graphs can be divided into several disconnected subgraphs by the first pruning scheme, and thus the blackhole finding can be conducted in each disconnected subgraph rather than in a large graph. Based on these two pruning schemes, we also develop an iBlackhole-DC algorithm. Finally, experimental results on real-world data show that the iBlackhole-DC algorithm can be several orders of magnitude faster than the iBlackhole algorithm, which has a huge computational advantage over a brute-force method.

研究动机与目标

• 在大型有向网络中识别黑洞和火山模式，作为市场操纵或结构异常的指标。
• 通过将问题形式化为高复杂度的组合搜索，解决此类模式挖掘的计算不可行性。
• 开发高效算法，通过结构剪枝和图分解显著减少搜索空间。
• 证明所提出的 iBlackhole 和 iBlackhole-DC 算法在黑洞模式挖掘中的完备性和正确性。
• 展示黑洞模式在揭示现实世界股票价格波动相关性及与欺诈相关的网络结构方面的实际应用价值。

提出的方法

• 提出黑洞和火山模式作为有向图中的新型结构基元：黑洞仅包含入边，火山仅包含出边。
• 证明黑洞挖掘与火山挖掘具有对偶性，从而可仅聚焦于黑洞检测。
• 设计第一重剪枝策略，基于与大小无关的规则（基于入权和出权属性），在早期阶段排除无效候选群体。
• 引入第二重剪枝策略，采用分治方法：在第一重剪枝后将图划分为不连通的子图，从而支持并行和局部化挖掘。
• 基于第一重剪枝策略开发 iBlackhole 算法，并进一步设计 iBlackhole-DC 算法，通过子图分解实现性能提升。
• 采用入权和出权作为核心度量指标：入权(B) = 来自 B 外部节点到 B 内部节点的边权重之和，出权(B) = 从 B 内部节点到 B 外部节点的边权重之和。

实验结果

研究问题

• RQ1 如何在大型有向网络中形式化定义并检测黑洞和火山模式？
• RQ2 有向图的哪些结构特性可被利用以降低挖掘这些模式的计算成本？
• RQ3 能否证明黑洞与火山模式之间存在对偶关系，从而简化挖掘过程？
• RQ4 与大小无关的剪枝规则和图分解在多大程度上可提升模式检测的可扩展性？
• RQ5 黑洞模式在揭示现实世界金融网络行为（如市场操纵或相关股票波动）方面的有效性如何？

主要发现

• iBlackhole-DC 算法相较于 iBlackhole 算法实现了多个数量级的加速，证明了双重剪枝策略的有效性。
• 基于与大小无关规则的第一重剪枝策略显著减少了候选搜索空间，且无需预先知晓模式大小。
• 在剪枝后将图分解为不连通的子图，可实现更高效的挖掘，如 iBlackhole-DC 性能的提升所证实。
• iBlackhole-DC 算法相较于暴力方法实现了多个数量级的性能提升，使大规模检测成为可能。
• 在金融网络的真实实验中揭示了有意义的黑洞模式，例如以 Citadel Broadcasting Corp. (CDL) 为中心的星型结构群体，表明其对相关股票的结构性影响。
• 本文证明黑洞模式可揭示滞后相关的股票波动，如 Venoco Inc. 与 Helmerich & Payne Inc. 之间的关系，表明其在检测隐藏市场关联方面的价值。