[논문 리뷰] Efficient Bitruss Decomposition for Large-scale Bipartite Graphs

Kai Wang, Xuemin Lin외 3명|arXiv (Cornell University)|2020. 01. 16.

Data Mining Algorithms and Applications참고 문헌 25인용 수 4

한 줄 요약

이 논문은 BE-Index라는 새로운 온라인 색인을 도입하여 대규모 이분 그래프에서 비트러스 분해를 위한 효율적인 알고리즘인 BiT-BU와 BiT-PC를 제안한다. BE-Index는 나비모양 구조를 k-블룸(즉, (2,k)-이분완전그래프)으로 압축하여, 시간 복잡도를 감소시키고 실제 데이터셋에서 최신 기법 대비 최대 두 계급 수준의 가속도를 달성한다.

ABSTRACT

Cohesive subgraph mining in bipartite graphs becomes a popular research topic recently. An important structure k-bitruss is the maximal cohesive subgraph where each edge is contained in at least k butterflies (i.e., (2, 2)-bicliques). In this paper, we study the bitruss decomposition problem which aims to find all the k-bitrusses for k >= 0. The existing bottom-up techniques need to iteratively peel the edges with the lowest butterfly support. In this peeling process, these techniques are time-consuming to enumerate all the supporting butterflies for each edge. To relax this issue, we first propose a novel online index -- the BE-Index which compresses butterflies into k-blooms (i.e., (2, k)-bicliques). Based on the BE-Index, the new bitruss decomposition algorithm BiT-BU is proposed, along with two batch-based optimizations, to accomplish the butterfly enumeration of the peeling process in an efficient way. Furthermore, the BiT-PC algorithm is devised which is more efficient against handling the edges with high butterfly supports. We theoretically show that our new algorithms significantly reduce the time complexities of the existing algorithms. Also, we conduct extensive experiments on real datasets and the result demonstrates that our new techniques can speed up the state-of-the-art techniques by up to two orders of magnitude.

연구 동기 및 목표

• 엣지 벗기 과정 중 비용이 많이 드는 나비모양 구조 탐색으로 인해 기존 하향식 비트러스 분해 알고리즘의 성능 저하 문제를 해결한다.
• 소셜 네트워크, 추천 시스템, 학술 네트워크 등에서 흔히 나타나는 대규모 이분 그래프의 확장 가능한 분석을 가능하게 하기 위해 계산 오버헤드를 감소시킨다.
• 동적 엣지 처리를 위해 나비모양 지원을 효율적으로 압축하고 관리할 수 있는 새로운 온라인 색인 구조인 BE-Index를 개발한다.
• 중복된 나비모양 지원 업데이트를 최소화하고 고도수(허브) 엣지에서의 성능을 향상시키기 위해 최적화된 알고리즘 BiT-BU와 BiT-PC를 설계한다.
• 실제 그래프에서 정확성과 확장성을 유지하면서도 기존 최신 기법 대비 뚜렷한 가속도 향상을 달성한다.

제안 방법

• 모든 나비모양을 k-블룸((2,k)-이분완전그래프)으로 압축하는 온라인 색인인 BE-Index를 도입하여, 나비모양 지원 추적을 효율적으로 가능하게 한다.
• BE-Index를 활용해 엣지 벗기 과정 중 반복적인 나비모양 탐색을 방지하는 하향식 분해 방법인 BiT-BU 알고리즘을 설계한다.
• 계산 비용과 업데이트 횟수를 줄이기 위해 배치 기반 최적화인 배치 엣지 처리와 배치 블룸 처리를 통합한다.
• 고지원 엣지를 먼저 처리하는 점진적 압축 기반 알고리즘인 BiT-PC를 제안하며, 반복적으로 그래프를 압축하여 이후 나비모양 지원 업데이트를 줄인다.
• BiT-PC에서 그래프 압축 속도를 제어하기 위해 매개변수 τ를 사용하며, 반복 횟수와 업데이트 오버헤드 사이의 균형을 최적화한다.
• 이론적 분석을 통해 BiT-BU와 BiT-PC는 이전 기법 대비 중복된 나비모양 수세기 및 업데이트 작업을 줄여 더 낮은 시간 복잡도를 달성함을 보여준다.

실험 결과

연구 질문

• RQ1 엣지 벗기 과정 중 반복적인 나비모양 탐색을 최소화함으로써 대규모 이분 그래프에서 비트러스 분해의 시간 복잡도를 어떻게 낮출 수 있는가?
• RQ2 나비모양 지원을 효율적으로 캡처하고 압축할 수 있는 온라인 색인 구조를 설계할 수 있는가?
• RQ3 하향식 분해 파이프라인에 적용할 수 있는 최적화 기법은 무엇이며, 이를 통해 계산 오버헤드를 줄이고 대규모 그래프에서의 성능을 향상시킬 수 있는가?
• RQ4 BiT-PC에서 점진적 그래프 압축이 표준 벗기 방식 대비 높은 나비모양 지원을 가진 엣지에서 성능을 어떻게 향상시키는가?
• RQ5 다양한 실제 데이터셋에서 반복 횟수와 업데이트 비용을 균형 잡는 데 최적의 압축 매개변수 τ의 설정은 무엇인가?

주요 결과

• 제안된 BiT-BU 및 BiT-PC 알고리즘은 Wiki-it 및 D-style와 같은 실제 데이터셋에서 최신 기법 대비 최대 두 계급 수준의 가속도를 달성한다.
• 6억 개 이상의 나비모양을 포함하는 Wiki-it 데이터셋에서 BE-Index 데이터 구조는 메인 메모리 사용량이 4GB 미만으로, 강력한 공간 효율성을 입증한다.
• BiT-BU++에 통합된 배치 기반 최적화는 계산 비용과 지원 업데이트 횟수를 모두 감소시키며, 특히 배치 블룸 처리가 가장 뚜렷한 성능 향상을 이룬다.
• D-style 및 Wiki-it와 같은 대규모 데이터셋에서 BiT-PC는 허브 엣지를 더 응집된 하위그래프 내에서 처리함으로써 BiT-BU 및 BiT-BU++를 초월하며, 이후 업데이트 횟수를 90% 이상 감소시킨다.
• BiT-PC의 매개변수 τ가 0.05에서 0.2 사이로 설정될 경우 성능에 미치는 영향이 미미하여, 다양한 그래프 구조에서의 안정성과 조정 용이성을 입증한다.