[논문 리뷰] Detecting Blackholes and Volcanoes in Directed Networks

Zhongmou Li, Hui Xiong외 1명|arXiv (Cornell University)|2010. 05. 12.

Complex Network Analysis Techniques참고 문헌 16인용 수 5

한 줄 요약

이 논문은 방향성 네트워크에서 들어오는 링크만 또는 나가는 링크만 갖는 그룹인 블랙홀 및 volano 패턴을 소개하며, 이를 탐지하기 위한 효율적인 이단계적 정리 접근법을 제안한다. 크기 독립적 정리와 분할 정복 분해를 활용한 iBlackhole-DC 알고리즘은 브루트 포스 및 기준 방법 대비 수개의 주기 수준의 속도 향상을 달성하여 금융 네트워크에서의 시장 조작 패턴 탐지의 확장 가능성을 가능하게 한다.

ABSTRACT

In this paper, we formulate a novel problem for finding blackhole and volcano patterns in a large directed graph. Specifically, a blackhole pattern is a group which is made of a set of nodes in a way such that there are only inlinks to this group from the rest nodes in the graph. In contrast, a volcano pattern is a group which only has outlinks to the rest nodes in the graph. Both patterns can be observed in real world. For instance, in a trading network, a blackhole pattern may represent a group of traders who are manipulating the market. In the paper, we first prove that the blackhole mining problem is a dual problem of finding volcanoes. Therefore, we focus on finding the blackhole patterns. Along this line, we design two pruning schemes to guide the blackhole finding process. In the first pruning scheme, we strategically prune the search space based on a set of pattern-size-independent pruning rules and develop an iBlackhole algorithm. The second pruning scheme follows a divide-and-conquer strategy to further exploit the pruning results from the first pruning scheme. Indeed, a target directed graphs can be divided into several disconnected subgraphs by the first pruning scheme, and thus the blackhole finding can be conducted in each disconnected subgraph rather than in a large graph. Based on these two pruning schemes, we also develop an iBlackhole-DC algorithm. Finally, experimental results on real-world data show that the iBlackhole-DC algorithm can be several orders of magnitude faster than the iBlackhole algorithm, which has a huge computational advantage over a brute-force method.

연구 동기 및 목표

• 대규모 방향성 네트워크에서 시장 조작 또는 구조적 이질성을 나타내는 블랙홀 및 볼케이노 패턴을 식별하기 위해.
• 높은 복잡도를 가진 조합적 탐색으로 인해 계산적으로 비가능한 문제를 해결하기 위해, 이러한 패턴을 탐지하는 문제를 조합적 탐색으로 공식화하기 위해.
• 구조적 정리 및 그래프 분해를 통해 검색 공간을 크게 줄이는 효율적인 알고리즘을 개발하기 위해.
• 제안된 iBlackhole 및 iBlackhole-DC 알고리즘의 완전성과 정확성을 입증하기 위해.
• 블랙홀 패턴이 실제 주식 이동 상관관계와 사기와 관련된 네트워크 구조를 드러내는 데 실용적 유용성을 입증하기 위해.

제안 방법

• 방향성 그래프에서 블랙홀(들어오는 링크만 있음) 및 볼케이노(나가는 링크만 있음) 패턴을 새로운 구조적 모티프로 제안한다.
• 블랙홀 탐지 문제와 볼케이노 탐지 문제 간의 이중성 관계를 증명하여 블랙홀 탐지만으로도 충분함을 보여준다.
• 크기 독립적 규칙을 기반으로 한 인바운드 무게 및 아웃바운드 무게 성질을 활용한 첫 번째 정리 기법을 설계하여 조기에 유효하지 않은 후보 그룹을 제거한다.
• 분할 정복 기반의 두 번째 정리 기법을 도입: 첫 번째 정리 후 그래프가 분리된 부분그래프로 분할되며, 이는 병렬 및 국소 탐지를 가능하게 한다.
• 첫 번째 정리 기법에 기반한 iBlackhole 알고리즘과, 부분그래프 분해를 추가로 활용해 성능 향상을 이룬 iBlackhole-DC 알고리즘을 개발한다.
• 인바운드 무게 및 아웃바운드 무게 정의를 核심 메트릭으로 활용: in-weight(B) = B 외부의 노드에서 B 내부의 노드로 향하는 간선 무게의 합, out-weight(B) = B 내부의 노드에서 B 외부의 노드로 향하는 무게의 합.

실험 결과

연구 질문

• RQ1 대규모 방향성 네트워크에서 블랙홀 및 볼케이노 패턴을 어떻게 공식적으로 정의하고 탐지할 수 있는가?
• RQ2 블랙홀 및 볼케이노 패턴 탐지의 계산 비용을 줄이기 위해 어떤 방향성 그래프의 구조적 성질을 활용할 수 있는가?
• RQ3 블랙홀 및 볼케이노 패턴 간의 이중성 관계를 증명할 수 있는가? 이를 통해 탐지 과정을 단순화할 수 있는가?
• RQ4 크기 독립적 정리 규칙과 그래프 분해를 통해 패턴 탐지의 확장성은 어느 정도 향상될 수 있는가?
• RQ5 블랙홀 패턴은 실제 금융 네트워크 행동, 예를 들어 시장 조작이나 상관관계 있는 주식 이동을 드러내는 데 얼마나 효과적인가?

주요 결과

• iBlackhole-DC 알고리즘은 iBlackhole 알고리즘 대비 몇 개의 주기 수준의 속도 향상을 달성하여 이중 정리 전략의 효과성을 입증한다.
• 크기 독립적 규칙에 기반한 첫 번째 정리 기법은 패턴 크기의 사전 지식 없이도 후보 검색 공간을 크게 줄인다.
• 정리 후 분리된 부분그래프로의 그래프 분해를 통해 더 효율적인 탐지가 가능하며, iBlackhole-DC의 성능 향상으로 이를 입증하였다.
• iBlackhole-DC 알고리즘은 브루트 포스 방법 대비 수개의 주기 수준의 성능 향상을 보이며, 대규모 탐지의 가능성을 확보한다.
• 금융 네트워크에 대한 실제 실험을 통해 시장 영향력이 있는 별형 그룹(예: Citadel Broadcasting Corp.(CDL) 중심)과 같은 의미 있는 블랙홀 패턴을 드러냈다.
• 논문은 블랙홀 패턴이 Venoco Inc.와 Helmerich & Payne Inc. 사이의 지연 상관관계 주식 이동을 드러내어 숨겨진 시장 관계 탐지에 가치가 있음을 입증하였다.