[논문 리뷰] MergeShuffle: A Very Fast, Parallel Random Permutation Algorithm

Axel Bacher, Olivier Bodini외 2명|arXiv (Cornell University)|2015. 08. 13.

Algorithms and Data Compression참고 문헌 26인용 수 15

한 줄 요약

MergeShuffle는 $ n\log_2 n + O(1) $ 시간에 실행되며, $ n\log_2 n + \Theta(n) $ 개의 랜덤 비트를 사용하고, in-place로 동작하는 매우 효율적인 병렬 무작위 순열 알고리즘입니다. 이 알고리즘은 균일하게 셔플된 부분배열을 병합하는 방식의 분할정복 전략을 활용하여, 특히 다중 코어 시스템에서 Fisher-Yates 및 Rao-Sandelius와 같은 기존 알고리즘보다 뛰어난 성능을 발휘합니다.

ABSTRACT

This article introduces an algorithm, MergeShuffle, which is an extremely efficient algorithm to generate random permutations (or to randomly permute an existing array). It is easy to implement, runs in $n\log_2 n + O(1)$ time, is in-place, uses $n\log_2 n + Θ(n)$ random bits, and can be parallelized accross any number of processes, in a shared-memory PRAM model. Finally, our preliminary simulations using OpenMP suggest it is more efficient than the Rao-Sandelius algorithm, one of the fastest existing random permutation algorithms. We also show how it is possible to further reduce the number of random bits consumed, by introducing a second algorithm BalancedShuffle, a variant of the Rao-Sandelius algorithm which is more conservative in the way it recursively partitions arrays to be shuffled. While this algorithm is of lesser practical interest, we believe it may be of theoretical value. Our full code is available at: https://github.com/axel-bacher/mergeshuffle

연구 동기 및 목표

• 현대의 다중 코어 및 GPU 아키텍처에 적합한 빠르고, in-place이며, 병렬화 가능한 무작위 순열 알고리즘을 설계하는 것.
• 출력 순열의 균일한 무작위성 유지와 함께 랜덤 비트 사용 수를 최소화하는 것.
• 병렬 환경에서 효율적으로 확장 가능한 Fisher-Yates 셔플의 실용적 대안을 제공하는 것.
• 균형 잡힌 단어를 사용하는 변형인 BalancedShuffle를 통해 랜덤 비트 효율성과 공간 사용 간의 이론적 트레이드오프를 탐색하는 것.

제안 방법

• 두 개의 균일하게 셔플된 부분배열을 재귀적으로 병합하는 바텀업 또는 톱다운 분할정복 접근 방식을 사용한다.
• 크기가 $ n $ 인 랜덤 인터리빙 패턴을 $ k $ 개의 0과 $ n-k $ 개의 1로 샘플링하기 위해 균형 잡힌 단어 생성 기법을 적용한다.
• 길이 $ n $ 이고 $ k $ 개의 0을 포함하는 이진 문자열의 집합인 $ C(n,k) $ 에서 무작위 단어를 사용하여 두 셔플된 부분배열을 인터리빙한다.
• 균일한 랜덤 비트를 효율적으로 생성하기 위해 간격 알고리즘 또는 Knuth-Yao 스타일의 비트스트림 시뮬레이션을 적용한다.
• 공유 메모리 병렬 처리를 위해 C로 구현하고 OpenMP를 사용한다.
• 균형 잡힌 단어를 사용하여 랜덤 비트 사용을 줄이지만 추가 보조 공간을 유발하는 변형인 BalancedShuffle를 도입한다.

실험 결과

연구 질문

• RQ1 병렬 무작위 순열 알고리즘이 높은 성능과 낮은 랜덤 비트 사용을 동시에 달성할 수 있는가?
• RQ2 대규모 병렬 환경에서 MergeShuffle의 성능이 Fisher-Yates 및 Rao-Sandelius 알고리즘과 비교해 어떻게 되는가?
• RQ3 성능이나 정확성에 손상 없이 랜덤 비트 사용을 얼마나 줄일 수 있는가?
• RQ4 균형 잡힌 단어 사용이 셔플 과정의 무작위성과 효율성에 어떤 영향을 미치는가?
• RQ5 분할정복 기반 병합 접근 방식이 순차적 및 병렬 실행 모두에서 전통적인 순차적 셔플링보다 뛰어난 성능을 낼 수 있는가?

주요 결과

• MergeShuffle는 $ n\log_2 n + \Theta(n) $ 개의 랜덤 비트를 사용하며, 상수 요소를 제외한 이론적 하한선과 일치한다.
• 40코어 클러스터에서 $ 10^5 $ 에서 $ 10^8 $ 크기의 순열에 대해 MergeShuffle은 항상 Fisher-Yates 및 Rao-Sandelius 알고리즘보다 실행 시간이 빠르며, 병렬 실행에서 유의미한 속도 향상을 보였다.
• $ n = 10^8 $ 인 경우, MergeShuffle은 약 26.5억 사이클에 실행되어 동일한 환경에서 Rao-Sandelius(26.3억 사이클)와 비슷한 성능을 보였고, Fisher-Yates(26.3억 사이클)보다는 뚜렷하게 빠르게 작동했다.
• BalancedShuffle 변형은 균형 잡힌 단어를 사용하여 랜덤 비트 사용을 줄였지만, 추가 공간 할당과 더 느린 실행 구현(초기 테스트 시 파이썬으로 구현)으로 인해 성능 저하를 겪었다.
• 이론적 분석을 통해 알고리즘이 입력 상태와 출력 순열 간의 이항 사상(비단사)을 통해 균일한 무작위 순열을 생성함을 확인하였다.
• 알고리즘의 종속성 구조는 효율적인 병렬화를 가능하게 하며, 종속성 그래프의 로그 심도를 바탕으로 $ n/\log n $ 개의 프로세서까지 확장 가능함을 보여주었다.