[論文レビュー] MergeShuffle: A Very Fast, Parallel Random Permutation Algorithm

Axel Bacher, Olivier Bodini+2 more|arXiv (Cornell University)|Aug 13, 2015

Algorithms and Data Compression参考文献 26被引用数 15

ひとこと要約

MergeShuffle は、$ n\log_2 n + O(1) $ 時間で実行され、$ n\log_2 n + \Theta(n) $ 個のランダムビットを用い、インプレースで動作する、非常に効率的な並列ランダム順列アルゴリズムである。これは、一様にシャッフルされた部分配列をマージする戦略に基づく分割統治法であり、特にマルチコアシステムにおける大規模並列環境において、Fisher-Yates や Rao-Sandelius と比較して優れたパフォーマンスを発揮する。

ABSTRACT

This article introduces an algorithm, MergeShuffle, which is an extremely efficient algorithm to generate random permutations (or to randomly permute an existing array). It is easy to implement, runs in $n\log_2 n + O(1)$ time, is in-place, uses $n\log_2 n + Θ(n)$ random bits, and can be parallelized accross any number of processes, in a shared-memory PRAM model. Finally, our preliminary simulations using OpenMP suggest it is more efficient than the Rao-Sandelius algorithm, one of the fastest existing random permutation algorithms. We also show how it is possible to further reduce the number of random bits consumed, by introducing a second algorithm BalancedShuffle, a variant of the Rao-Sandelius algorithm which is more conservative in the way it recursively partitions arrays to be shuffled. While this algorithm is of lesser practical interest, we believe it may be of theoretical value. Our full code is available at: https://github.com/axel-bacher/mergeshuffle

研究の動機と目的

• 現代のマルチコアおよび GPU アーキテクチャに適した、高速でインプレースかつ並列化可能なランダム順列アルゴリズムの設計。
• 出力順列の均一性を維持しつつ、使用するランダムビット数を最小限に抑えること。
• 並列環境で効率的にスケーリングできる Fisher-Yates シャッフルの実用的代替案を提供すること。
• BalancedShuffle と呼ばれる変種を用いて、ランダムビット効率と空間使用量の理論的トレードオフを調査すること。

提案手法

• 下位からまたは上位からの分割統治法を用い、再帰的に一様にシャッフルされた2つの部分配列をマージする。
• サイズ $ n $ のランダムなインターリーブパターンを、$ k $ 個の 0 と $ n-k $ 個の 1 を持つように生成するためのバランスの取れたワード生成技術を採用する。
• 長さ $ n $、0 の個数が $ k $ 個の二進数文字列の集合 $ C(n,k) $ からランダムに選んだワードを用いて、2つのシャッフル済み部分配列をインターリーブするマージ処理を実行する。
• 区間法または Knuth-Yao 方式のビットストリームシミュレーションを用いて、均一なランダムビットを効率的に生成する。
• OpenMP を用いて共有メモリ型並列化を実装した C 言語による実装を採用する。
• バランスの取れたワードを用いることでランダムビット使用量を削減するが、追加の補助領域を要するため、性能に悪影響を及げる BalancedShuffle を変種として導入する。

実験結果

リサーチクエスチョン

• RQ1 並列ランダム順列アルゴリズムは、高いパフォーマンスと低いランダムビット使用量の両方を達成できるか？
• RQ2 大規模並列環境において、MergeShuffle のパフォーマンスは Fisher-Yates や Rao-Sandelius アルゴリズムと比べてどの程度優れているか？
• RQ3 パフォーマンスや正しさを損なわずに、ランダムビット使用量をどの程度まで削減できるか？
• RQ4 バランスの取れたワードを用いることで、シャッフル処理のランダムネスと効率性にどのような影響が生じるか？
• RQ5 分割統治に基づくマージ方式は、順序実行および並列実行の両方において、従来の逐次シャッフルを上回る性能を発揮できるか？

主な発見

• MergeShuffle は $ n\log_2 n + \Theta(n) $ 個のランダムビットを使用しており、定数倍の差異を除いて理論的下界に一致する。
• 40コアのクラスタ上では、$ 10^5 $ から $ 10^8 $ のサイズの順列に対して、MergeShuffle は Fisher-Yates や Rao-Sandelius アルゴリズムを常に上回る実行時間となり、並列実行で顕著なスルーブプを示した。
• サイズ $ n = 10^8 $ の場合、MergeShuffle は約 26.5 億サイクルで実行され、Rao-Sandelius（26.3 億サイクル）とほぼ同等の速度であり、Fisher-Yates（26.3 億サイクル）よりも顕著に高速であった。
• BalancedShuffle 変種はバランスの取れたワードを用いることでランダムビット使用量を削減したが、追加のメモリ割り当てと遅い実装（初期段階のテストでは Python で実装）のため、パフォーマンスへの悪影響を受けていた。
• 理論的解析により、入力状態と出力順列との間の全単射写像が成立しており、アルゴリズムが均一なランダム順列を生成することが確認された。
• アルゴリズムの依存構造は効率的な並列化を可能にし、依存グラフの深さが対数的であるため、$ n/\log n $ 個のプロセッサにまでスケーリング可能であることが示された。