[논문 리뷰] Parallel Weighted Random Sampling

Lorenz Hübschle-Schneider, Peter Sanders|arXiv (Cornell University)|2019. 01. 01.

Data Management and Algorithms인용 수 5

한 줄 요약

이 논문은 공유 메모리 및 분산 메모리 시스템에서 가중치가 부여된 랜덤 샘플링을 위한 효율적이고 확장 가능한 병렬 알고리즘을 제시한다. 교체 유형 및 비교형 샘플링을 위한 출력에 민감한 선형 작업 방법, 앨리어스 테이블, 리저보어 샘플링을 도입하여 최대 158개 스레드 및 256개 노드에서 근접한 선형 속도 향상을 달성하였으며, 분산 스트리밍 데이터에 대한 통신 효율적인 설계를 구현하였다.

ABSTRACT

Data structures for efficient sampling from a set of weighted items are an important building block of many applications. However, few parallel solutions are known. We close many of these gaps both for shared-memory and distributed-memory machines. We give efficient, fast, and practicable algorithms for sampling single items, k items with/without replacement, permutations, subsets, and reservoirs. We also give improved sequential algorithms for alias table construction and for sampling with replacement. Experiments on shared-memory parallel machines with up to 158 threads show near linear speedups both for construction and queries.

연구 동기 및 목표

• 대규모 데이터 워크로드에서 가중치 기반 랜덤 샘플링을 위한 효율적인 병렬 알고리즘이 부족한 문제를 해결한다.
• 협업 최소화를 통한 분산 메모리 시스템에서의 확장 가능하고 통신 효율적인 가중치 기반 샘플링 알고리즘을 설계한다.
• 샘플 수에 비례하여 작업량이 선형적으로 증가하는 출력에 민감한 알고리즘 개발을 통해 비대칭 분포에서의 성능 향상을 도모한다.
• 순차적 및 병렬 실행 모두에서 앨리어스 테이블 구축을 최적화하여 공간 효율성을 높이고 실용성을 향상시킨다.
• 최소한의 통신으로 분산 데이터 스트림에서 효율적인 리저보어 샘플링을 가능하게 하는 완전히 분산된 모델을 제공한다.

제안 방법

• 출력에 민감한 교체 유형 샘플링을 달성하기 위해 테이블 기반 샘플링과 분할 정복 트리를 조합한 하이브리드 접근 방식을 사용한다.
• 작업 효율적인 병렬 원소를 활용한 병렬 앨리어스 테이블 구축을 설계하며, 누적합 및 표본 기반 분할 기법을 포함한다.
• 정렬을 통한 선형 작업 가중치 기반 무작위 순열을 가능하게 하기 위해 난수 변량에 비선형 변환을 적용한다.
• 분산 시스템에서 소유자-계산 모델을 활용하여 각 프로세서가 로컬 데이터를 처리하고 통신을 최소화한다.
• 완전히 분산된 스트리밍 모델 기반의 통신 효율적인 리저보어 샘플링 알고리즘을 도입하여 프로세서 간 통신을 최소화한다.
• 정수 정렬 원소를 서브루틴으로 사용하며, 복잡도는 log-가중치 비율 u = log(w_max/w_min)에 따라 달라진다.

실험 결과

연구 질문

• RQ1 공유 메모리 시스템에서 선형 작업과 로그 시간 복잡도를 달성하는 가중치 기반 랜덤 샘플링 병렬 알고리즘을 설계할 수 있는가?
• RQ2 다양한 샘플 수가 총 샘플 크기보다 훨씬 작을 때, 교체 유형 가중치 기반 샘플링을 어떻게 효율적으로 수행할 수 있는가?
• RQ3 확장성을 유지하면서 분산 가중치 리저보어 샘플링의 최소 통신 비용은 얼마인가?
• RQ4 기존 순차적 방법보다 공간 효율성과 성능이 뛰어난 병렬 앨리어스 테이블 구축이 가능한가?
• RQ5 난수 변량의 비선형 변환을 통해 정렬을 이용해 선형 작업으로 가중치 기반 무작위 순열을 수행할 수 있는가?

주요 결과

• 제안된 병렬 앨리어스 테이블 구축은 사전 처리 및 쿼리 단계에서 최대 158개 스레드에서 근접한 선형 속도 향상을 달성한다.
• 교체 유형 샘플링을 위한 출력에 민감한 알고리즘은 서로 다른 샘플 수에 비례하여 선형 작업을 수행하여, 비대칭 분포에서 성능 향상이著명하다.
• 분산 가중치 리저보어 샘플링은 최대 256개 노드(5120개 코어)에서 양호한 속도 향상을 보이며, 높은 확장성과 낮은 통신 오버헤드를 입증한다.
• 가중치 기반 무작위 순열을 위한 알고리즘은 난수 변량의 비선형 변환을 적용하여 정렬을 통해 선형 작업을 달성하고, 고비용 샘플링 단계를 피한다.
• 통신 효율적인 분산 리저보어 샘플링 알고리즘은 로컬 작업에 대해 상위선형 수준 이하로 프로세서 간 통신을 줄이며, 특히 난수 분포 하에서 유리하다.
• 기존 방법에 비해 순차적 앨리어스 테이블 구축이 단순화되고 공간 효율성이 향상되어 실용적인 개선을 이룬다.