[논문 리뷰] fastball: A fast algorithm to sample bipartite graphs with fixed degree sequences

Karl Godard, Zachary P. Neal|arXiv (Cornell University)|2021. 12. 07.

Algorithms and Data Compression인용 수 4

한 줄 요약

이 논문은 고정도수열을 가진 이분 그래프를 균일하게 랜덤으로 샘플링하기 위한 새로운 알고리즘인 fastball을 소개한다. 이 알고리즘은 기존의 최상위 수준의 curveball 알고리즘보다 더 빠른 O(n) 시간 복잡도를 달성하여 최적의 성능을 보인다. C++로 구현된 fastball은 실질적으로 샘플링 시간을 최대 2.5배 빠르게 하여, 미국 상원 공동서명 네트워크와 같은 대규모 네트워크에서의 백본 추출을 더 빠르게 가능하게 한다.

ABSTRACT

Many applications require randomly sampling bipartite graphs with fixed degrees, or randomly sampling incidence matrices with fixed row and column sums. Although several sampling algorithms exist, the ``curveball'' algorithm is the most efficient with an asymptotic time complexity of O(n log n), and has been proven to sample uniformly at random. In this paper, we introduce the ``fastball'' algorithm, which adopts a similar approach but has an asymptotic time complexity of O(n). We show that a C++ implementation of fastball randomly samples large bipartite graphs with fixed degrees faster than curveball, and illustrate the value of this faster algorithm in the context of the fixed degree sequence model for backbone extraction.

연구 동기 및 목표

• 고정도수열을 가진 이분 그래프에 대해 균일하게 랜덤 샘플링을 수행하는 데 더 높은 계산 효율성을 갖춘 알고리즘을 개발하기.
• 기존의 무역 기반 샘플링 알고리즘의 점근적 시간 복잡도를 O(n log n)에서 O(n)으로 감소시키기.
• 특히 대규모 이분 프로젝션에서의 백본 추출에 있어 대규모 네트워크 분석에서의 실질적 성능 향상 도모하기.
• 고정도수열 모델에서 많은 수의 무작위 샘플이 필요한 응용 분야에서 curveball 알고리즘의 더 빠른 대안 제공하기.
• 네트워크 과학, 생태학, 통계역학 분야에서 더 스케일러블하고 효율적인 근본 모델 테스트 가능성을 높이기.

제안 방법

• fastball은 curveball와 유사한 무역 기반 마르코프 체인 몬테카를로 방법을 사용하지만, 무역 연산을 최적화하여 O(n) 시간 복잡도를 달성한다.
• 알고리즘은 균일하게 랜덤으로 두 노드를 선택하고, 그들의 대칭차집합과 교집합을 계산한 후, 대칭차집합의 셔플된 분할을 통해 간선을 재할당한다.
• 인접 리스트를 유지하면서 정렬된 데이터 구조를 사용하여 무역 연산 중 오버헤드를 최소화하는 효율적인 업데이트를 수행한다.
• 같은 이론적 프레임워크를 기반으로 하여 세부 균형성과 정규성을 유지함으로써 균일한 샘플링을 보장한다.
• 저수준 메모리 접근과 최적화된 데이터 처리를 활용하여 curveball와의 성능 비교를 위한 벤치마크를 위해 C++로 구현하였다.
• 사용자 우아한 래퍼 함수를 통해 R의 backbone 패키지에 통합되어 C++ 전문 지식 없이도 고수준에서 사용이 가능하도록 하였다.

실험 결과

연구 질문

• RQ1 고정도수를 가진 이분 그래프에 대해 무역 기반 알고리즘이 curveball의 O(n log n) 복잡도를 뛰어넘어 O(n) 시간 복잡도를 달성할 수 있는가?
• RQ2 제안된 fastball 알고리즘이 실질적인 계산 오버헤드를 줄이면서도 균일한 샘플링을 유지하는가?
• RQ3 실제 네트워크 분석 워크로드, 예를 들어 대규모 이분 프로젝션에서의 백본 추출에서 fastball은 curveball보다 얼마나 더 빠른가?
• RQ4 m = 10^6 노드와 같은 매우 큰 그래프에서 fastball은 curveball에 비해 상당히 감소된 런타임으로 확장 가능한가?
• RQ5 더 빠른 샘플링이 네트워크 과학 분야에서 대규모 근본 모델 테스트의 실현 가능성에 실질적인 영향을 미치는가?

주요 결과

• fastball 알고리즘은 점근적 시간 복잡도 O(n)을 달성하여 curveball 알고리즘의 O(n log n) 복잡도를 뛰어넘었다.
• C++로 구현된 fastball은 미국 상원 공동서명 네트워크의 백본을 추출할 때 curveball보다 약 2.5배 빠르게 작동하여 런타임을 27분에서 11분으로 단축시켰다.
• m = 10^6 노드를 가진 대규모 그래프에서 벤치마크 테스트 결과, fastball은 무역을 curveball보다 약 4배 더 빠르게 수행하였다.
• 알고리즘이 curveball와 동일한 FDSM 백본을 생성하여 균일 샘플링과 구현의 정확성을 확인하였다.
• backbone 패키지의 R 함수 `fastball()`은 C++ 전문 지식 없이도 기존의 R 기반 워크플로우에 원활하게 통합 가능하게 하였다.
• 수치 실험을 통해 fastball이 curveball와 동일한 통계적 성질, 즉 균일성과 약 5n회의 무역 후 충분한 혼합성을 유지하는 것으로 확인되었다.