[論文レビュー] Detecting Blackholes and Volcanoes in Directed Networks

Zhongmou Li, Hui Xiong+1 more|arXiv (Cornell University)|May 12, 2010

Complex Network Analysis Techniques参考文献 16被引用数 5

ひとこと要約

本稿では、有向ネットワークにおけるブラックホールおよびボルケーノパターン——それぞれ、入力リンクのみまたは出力リンクのみを持つグループ——を導入し、効率的な2段階の刈り込み手法を提案する。iBlackhole-DCアルゴリズムは、サイズに依存しない刈り込みと分割統治的分解を活用し、ブルートフォース法やベースライン手法と比較して、数個のオーダーの高速化を達成し、金融ネットワークにおける市場操作のパターンをスケーラブルに検出可能にする。

ABSTRACT

In this paper, we formulate a novel problem for finding blackhole and volcano patterns in a large directed graph. Specifically, a blackhole pattern is a group which is made of a set of nodes in a way such that there are only inlinks to this group from the rest nodes in the graph. In contrast, a volcano pattern is a group which only has outlinks to the rest nodes in the graph. Both patterns can be observed in real world. For instance, in a trading network, a blackhole pattern may represent a group of traders who are manipulating the market. In the paper, we first prove that the blackhole mining problem is a dual problem of finding volcanoes. Therefore, we focus on finding the blackhole patterns. Along this line, we design two pruning schemes to guide the blackhole finding process. In the first pruning scheme, we strategically prune the search space based on a set of pattern-size-independent pruning rules and develop an iBlackhole algorithm. The second pruning scheme follows a divide-and-conquer strategy to further exploit the pruning results from the first pruning scheme. Indeed, a target directed graphs can be divided into several disconnected subgraphs by the first pruning scheme, and thus the blackhole finding can be conducted in each disconnected subgraph rather than in a large graph. Based on these two pruning schemes, we also develop an iBlackhole-DC algorithm. Finally, experimental results on real-world data show that the iBlackhole-DC algorithm can be several orders of magnitude faster than the iBlackhole algorithm, which has a huge computational advantage over a brute-force method.

研究の動機と目的

• 大規模な有向ネットワークにおけるブラックホールおよびボルケーノパターンを特定し、市場操作や構造的異常の兆候とする。
• このようなパターンをマイニングする計算の非効率性に対処するため、高い複雑性を示す組み合わせ的探索として問題を定式化する。
• 構造的刈り込みとグラフ分解による探索空間の大幅な削減を実現する効率的なアルゴリズムを開発する。
• ブラックホールパターンマイニングにおける提案されたiBlackholeおよびiBlackhole-DCアルゴリズムの完全性と正しさを証明する。
• ブラックホールパターンの実用的有用性を、現実世界の株価移動の相関関係や詐欺関連のネットワーク構造を解明する事例を通じて示す。

提案手法

• 有向グラフにおけるブラックホールおよびボルケーノパターンを、新たな構造的モチーフとして提案：ブラックホールは入力リンクのみ、ボルケーノは出力リンクのみを有する。
• ブラックホールマイニングがボルケーノマイニングと双対的であることを証明し、ブラックホール検出に集中可能となる。
• 入力重みおよび出力重みの性質に基づくサイズに依存しないルールを用いた最初の刈り込みスキームを設計し、無効な候補グループを早期に除外する。
• 分割統治を用いた第二の刈り込みスキームを導入：最初の刈り込み後にグラフが非連結な部分グラフに分割され、並列的かつ局所的なマイニングが可能になる。
• 最初の刈り込みスキームに基づくiBlackholeアルゴリズムと、部分グラフ分解をさらに活用して性能向上を図るiBlackhole-DCアルゴリズムを開発する。
• 入力重みおよび出力重みの定義をコアメトリクスとして採用：in-weight(B) = Bの外部ノードからBのノードへのエッジ重みの合計、out-weight(B) = BのノードからBの外部ノードへの重みの合計。

実験結果

リサーチクエスチョン

• RQ1 ブラックホールおよびボルケーノパターンは、大規模な有向ネットワークにおいてどのように形式的に定義され、検出可能か？
• RQ2 有向グラフのどのような構造的性質が、これらのパターンマイニングの計算コストを低減するために活用可能か？
• RQ3 ブラックホールおよびボルケーノパターンの間の双対関係を証明でき、マイニングプロセスの簡素化が可能か？
• RQ4 サイズに依存しない刈り込みルールおよびグラフ分解は、パターン検出のスケーラビリティをどの程度向上できるか？
• RQ5 ブラックホールパターンは、市場操作や相関株価移動といった現実世界の金融ネットワーク行動をどの程度効果的に明らかにできるか？

主な発見

• iBlackhole-DCアルゴリズムは、iBlackholeアルゴリズムと比較して数個のオーダーの高速化を達成し、二重刈り込み戦略の有効性を示している。
• サイズに依存しないルールに基づく最初の刈り込みスキームは、パターンサイズの事前知識がなくても、候補探索空間を顕著に削減する。
• 刈り込み後に非連結な部分グラフにグラフを分解することで、より効率的なマイニングが可能となり、iBlackhole-DCの性能向上が実証された。
• iBlackhole-DCアルゴリズムはブルートフォース法と比較して、複数のオーダーの高速化を達成し、大規模な検出を現実可能としている。
• 金融ネットワークにおける実世界の実験から、クリティカル・ブロードキャスティング・コーポレーション（CDL）を中核とする星型のグループなど、意味のあるブラックホールパターンが明らかになった。これは関連株式に構造的影響を与えている可能性を示唆する。
• 本稿では、ブラックホールパターンが、ベンォコ・インコーポレーテッド（Venoco Inc.）とヘルメールヒッチ・アンド・ペイン・インコーポレーテッド（Helmerich & Payne Inc.）の間のラグ相関株価移動を明らかにできることを示しており、隠れた市場関係を検出する価値があることを示している。