[논문 리뷰] sGrapp: Butterfly Approximation in Streaming Graphs

Aida Sheshbolouki, M. TAMER ÖZSU|arXiv (Cornell University)|2021. 01. 29.

Complex Network Analysis Techniques참고 문헌 60인용 수 6

한 줄 요약

이 논문은 이원 스트리밍 그래프에서 근사적인 버터플라이 카운팅을 위한 적응형 윈도우 기반 알고리즘인 sGrapp을 제안한다. 시간적 정렬 원칙과 윈도우 간 버터플라이 추정을 활용하여 높은 정확도와 효율성을 달성한다. 균일한 스트림에서는 MAPE < 0.05, 비균일한 스트림에서는 < 0.14의 성능을 기록하며, 기존 방법들보다 정확도와 처리량 측면에서 뛰어나다.

ABSTRACT

We study the fundamental problem of butterfly (i.e. (2,2)-bicliques) counting in bipartite streaming graphs. Similar to triangles in unipartite graphs, enumerating butterflies is crucial in understanding the structure of bipartite graphs. This benefits many applications where studying the cohesion in a graph shaped data is of particular interest. Examples include investigating the structure of computational graphs or input graphs to the algorithms, as well as dynamic phenomena and analytic tasks over complex real graphs. Butterfly counting is computationally expensive, and known techniques do not scale to large graphs; the problem is even harder in streaming graphs. In this paper, following a data-driven methodology, we first conduct an empirical analysis to uncover temporal organizing principles of butterflies in real streaming graphs and then we introduce an approximate adaptive window-based algorithm, sGrapp, for counting butterflies as well as its optimized version sGrapp-x. sGrapp is designed to operate efficiently and effectively over any graph stream with any temporal behavior. Experimental studies of sGrapp and sGrapp-x show superior performance in terms of both accuracy and efficiency.

연구 동기 및 목표

• 대규모 동적 이원 그래프 스트림에서 효율적이고 정확한 버터플라이 카운팅 문제를 해결하기 위해.
• 실세계 스트리밍 이원 그래프에서 버터플라이의 시간적 정렬 원리를 경험적 분석을 통해 밝혀내기 위해.
• 모 bord edge 도착 속도나 순서에 대한 사전 가정 없이도 임의의 시간 분포에 적응할 수 있는 스트리밍 알고리즘 설계를 위해.
• 실시간에서 (2,2)-이중클리크 추정 시 계산 오버헤드를 최소화하면서도 높은 정확도를 유지하기 위해.
• 기존의 샘플링 기반 및 정확한 카운팅 방법들보다 정확도(MAPE)와 처리량 측면에서 모두 뛰어난 성능을 내기 위해.

제안 방법

• sGrapp는 시간 기반의 적응형 윈도우 메커니즘을 사용하여 로드를 동적으로 균형 잡고 윈도우 내 계산을 줄인다.
• 낮은 계산 오버헤드를 유지하기 위해 각 윈도우 내 버터플라이에 대해 정확한 카운팅 코어를 사용한다.
• 버터플라이 조밀화 법칙을 활용하여 윈도우 간 버터플라이를 추정한다. 이는 시간이 지남에 따라 버터플라이 밀도가 증가하는 방식을 모델링한다.
• sGrapp-x는 윈도우 적응 및 오차 제어를 개선하여 비균일 스트림에서 정확도를 향상시키는 최적화된 변종이다.
• 샘플링이나 엣지 프로젝션에 의존하지 않아 엣지 과잉 증식 및 구조적 충실도 손실 등의 문제를 피한다.
• 윈도우 단위로 증분적으로 버터플라이 추정치를 갱신하며, 윈도우 크기와 시간 밀도에 따라 스케일링되는 공식을 사용한다.

실험 결과

연구 질문

• RQ1 실세계 스트리밍 이원 그래프에서 버터플라이 분포를 지배하는 주요 시간 패턴은 무엇인가?
• RQ2 임의의 시간 역학을 갖는 그래프 스트림에서 버터플라이 카운팅을 어떻게 효율적으로 근사할 수 있는가?
• RQ3 고정 윈도우 또는 샘플링 기반 접근 방식보다 적응형 윈도우 전략이 정확도와 처리량 측면에서 뛰어나게 할 수 있는가?
• RQ4 버터플라이 조밀화 법칙은 얼마나 정확하게 윈도우 간 추정을 가능하게 하는가?
• RQ5 다양한 윈도우 크기와 적응 파rameter는 근사 오차와 시스템 성능에 어떤 영향을 미치는가?

주요 결과

• sGrapp는 시간 분포가 거의 균일한 그래프 스트림에서 평균 절대 퍼센티지 오차(MAPE)가 0.05 이하로 유지된다.
• 최적화된 변종인 sGrapp-x는 비균일 스트림에서 MAPE를 0.14 이하로 낮춰 기본 sGrapp에 비해 정확도를 크게 향상시킨다.
• sGrapp-x는 가장 농도가 높은 스트림에서 근사 오차가 0.15 이하일 확률을 최대 30% 증가시키며, 0.2 이하일 확률은 최대 25% 증가시킨다.
• sGrapp는 높은 처리량을 유지하며, 평균 윈도우 지연 시간이 1초 이하이고, 테스트 워크로드에서 총 처리량이 초당 100,000개 이상의 엣지를 초과한다.
• 특히 높은 속도의 스트림에서 높은 밀도의 버터플라이 패턴을 보일 경우, FLEET 및 기타 샘플링 기반 방법들보다 정확도와 효율성 측면에서 모두 뛰어나다.
• 버터플라이 조밀화 법칙의 수식적 접근은 대부분의 스트림에서 총 버터플라이의 주요 부분을 차지하는 윈도우 간 버터플라이 추정을 신뢰성 있게 가능하게 한다.