[논문 리뷰] Truss Decomposition in Massive Networks

Jia Wang, James Cheng|arXiv (Cornell University)|2012. 05. 30.

Complex Network Analysis Techniques참고 문헌 29인용 수 9

한 줄 요약

이 논문은 메모리 내 및 I/O 효율적인 알고리즘을 제안하여 거대한 네트워크에서 트러스 분해를 효율적으로 수행한다. 기존의 방법에 비해 고도수 정점 처리를 최적화하고, 주로 메모리에 담을 수 없는 데이터셋에서도 확장 가능한 계산을 가능하게 한다. 주요 기여는 k-truss가 k-core보다 더 날카롭고 밀도 높은 네트워크 구조를 포괄함을 입증한 것으로, 실제 그래프에서 기존 방법보다 뚜렷한 성능 향상을 보였다.

ABSTRACT

The k-truss is a type of cohesive subgraphs proposed recently for the study of networks. While the problem of computing most cohesive subgraphs is NP-hard, there exists a polynomial time algorithm for computing k-truss. Compared with k-core which is also efficient to compute, k-truss represents the "core" of a k-core that keeps the key information of, while filtering out less important information from, the k-core. However, existing algorithms for computing k-truss are inefficient for handling today's massive networks. We first improve the existing in-memory algorithm for computing k-truss in networks of moderate size. Then, we propose two I/O-efficient algorithms to handle massive networks that cannot fit in main memory. Our experiments on real datasets verify the efficiency of our algorithms and the value of k-truss.

연구 동기 및 목표

• 대규모 네트워크에서 트러스 분해에 대한 기존 알고리즘의 비효율성을 해결하기 위해.
• 중간 크기의 그래프에서 고도수 정점 처리를 최적화하는 메모리 내 알고리즘 개발을 위해.
• 메인 메모리에 담을 수 없는 거대한 네트워크를 처리하기 위한 I/O 효율적인 알고리즘 설계를 위해.
• k-truss가 네트워크 분석에서 k-core보다 더 효과적인 밀집된 부분그래프임을 입증하기 위해.

제안 방법

• 고도수 정점 처리의 성능 저하 요인을 제거한 개선된 메모리 내 알고리즘을 제안하여 중간 크기의 그래프에서 성능을 향상시킨다.
• 반복적인 간선 지지도 계산과 효율적인 그래프 분할을 활용한 하향식 I/O 효율적인 알고리즘을 도입한다.
• 상위 t개의 k-truss만 필요로 하는 애플리케이션에 특화된 상향식 I/O 효율적인 알고리즘을 설계한다.
• 트러스 분해의 핵심 단계인 간선 지지도 계산을 위해 I/O 효율적인 삼각형 수 계산 알고리즘을 사용한다.
• 낮은 k 값에서부터 높은 k 값으로 체계적으로 k-truss를 구축하는 하향식 접근법을 개발하여 정확성과 효율성을 확보한다.
• 데이터셋이 주로 메모리 용량을 초과할 경우를 대비해 그래프 분할 및 외부 메모리 처리 기법을 활용한다.

실험 결과

연구 질문

• RQ1 메모리에 담을 수 없는 거대한 네트워크에 대해 트러스 분해를 확장 가능하게 만들 수 있는가?
• RQ2 k-truss는 k-core에 비해 더 밀접하고 밀도 높은 네트워크 구조를 얼마나 잘 포괄하는가?
• RQ3 대규모 그래프에서 기존의 메모리 내 및 MapReduce 기반 방법에 비해 I/O 효율적인 알고리즘이 더 뛰어난 성능을 내는가?
• RQ4 최대 클리크 탐색 및 최대 클리크 추출에 있어 k-truss는 k-core보다 더 나은 히ュ리스틱인가?
• RQ5 제안된 알고리즘은 기존 방법 대비 런타임 및 I/O 효율성 측면에서 얼마나 향상되었는가?

주요 결과

• 제안된 메모리 내 알고리즘은 고도수 정점이 많은 그래프에서 코헨의 원래 메모리 내 알고리즘보다 뚜렷이 뛰어난 성능을 보였다.
• 하향식 I/O 효율적인 알고리즘은 위키피디아 및 프렌드스터와 같은 거대한 네트워크에서 확장 가능한 트러스 분해를 가능하게 하였다. 이는 메모리에 담을 수 없는 크기의 데이터셋을 대상으로 한다.
• 상향식 알고리즘은 상위 t개의 k-truss를 효율적으로 추출하여, 네트워크의 가장 밀접한 부분에 집중하는 애플리케이션에 적합하다.
• 실험 결과, 실제 관리자 간 관계 그래프의 4-truss는 클러스터링 계수 0.80을 기록하였으며, 원본 그래프(0.51)와 3-core(0.65)보다 뚜렷이 높아, 더 강한 커뮤니티 밀집도를 나타낸다.
• kmax-truss(즉, 가장 밀접한 k-truss)는 cmax-core보다 훨씬 더 밀접한 구조를 가지며, k-truss 기반으로는 최대 클리크 크기가 53개 정점으로 제한되는 반면, k-core 기반으로는 132개 정점까지 허용되어, 약한 연결을 더 효과적으로 걸러내는 것으로 나타났다.
• 최대 클리크 탐색 및 최대 클리크 추출에 있어 k-truss는 k-core보다 더 효과적인 히ュ리스틱임을 입증하였으며, 밀도 높고 의미 있는 부분 구조를 더 잘 분리함을 보였다.