[論文レビュー] Parallel Weighted Random Sampling

Lorenz Hübschle-Schneider, Peter Sanders|arXiv (Cornell University)|Jan 1, 2019

Data Management and Algorithms被引用数 5

ひとこと要約

この論文では、共有メモリおよび分散メモリシステムにおける重み付きランダムサンプリングのための効率的でスケーラブルな並列アルゴリズムを提示する。重み付きサンプリング（復元あり・なし）およびアリス表、リザーバー・サンプリングの出力に敏感な線形作業量の方法を導入し、最大158スレッドおよび256ノードでニアーライナー速度向上を達成。分散ストリーミングデータに対する通信効率の高い設計を実現した。

ABSTRACT

Data structures for efficient sampling from a set of weighted items are an important building block of many applications. However, few parallel solutions are known. We close many of these gaps both for shared-memory and distributed-memory machines. We give efficient, fast, and practicable algorithms for sampling single items, k items with/without replacement, permutations, subsets, and reservoirs. We also give improved sequential algorithms for alias table construction and for sampling with replacement. Experiments on shared-memory parallel machines with up to 158 threads show near linear speedups both for construction and queries.

研究の動機と目的

• 大規模データワークロードにおける重み付きランダムサンプリングのための効率的で並列処理可能なアルゴリズムの不足に対処する。
• 最小限の調整オーバーヘッドで、分散メモリシステムにおけるスケーラブルで通信効率の高い重み付きサンプリングのためのアルゴリズムを設計する。
• 出力に敏感なアルゴリズムの開発を進め、作業量がサンプル数に線形に比例するようにし、歪んだ分布におけるパフォーマンスを向上させる。
• 順序処理および並列処理の両方において、アリス表の構築を最適化し、空間効率を向上させ、実用性を高める。
• 最小限の通信量で、完全に分散型のモデルを用いて分散データストリームからの効率的リザーバー・サンプリングを可能にする。

提案手法

• 出力に敏感な復元ありサンプリングを達成するために、テーブルベースのサンプリングと分割統治ツリーを組み合わせたハイブリッド手法を用いる。
• 作業効率の良い並列プリミティブ（累積和およびサンプルベースのパーティショニングを含む）を用いて、並列なアリス表の構築を設計する。
• ランダム変数の非線形変換を適用し、ソートを介して線形作業量の重み付きランダム順列を実現する。
• 分散システムにおけるオーナー・コンピューズモデルを活用し、各プロセッサが局所データを処理し、通信を最小限に抑える。
• 完全に分散型のストリーミングモデルに基づく通信効率の高いリザーバー・サンプリングアルゴリズムを導入し、プロセッサ間通信を最小限に抑える。
• 整数ソートプリミティブをサブルーチンとして用い、複雑さの上限は log(w_max/w_min) に依存する。

実験結果

リサーチクエスチョン

• RQ1 共有メモリシステムにおいて、線形作業量と対数的レイテンシを達成する並列アルゴリズムを設計できるか？
• RQ2 異なるサンプル数が総サンプルサイズに比べて著しく少ない場合に、復元あり重み付きサンプリングを効率的に実行できるか？
• RQ3 スケーラビリティを維持しながら、分散重み付きリザーバー・サンプリングの最小通信コストは何か？
• RQ4 従来の逐次的手法よりも空間効率とパフォーマンスに優れた並列でのアリス表の構築は可能か？
• RQ5 ランダム変数の非線形変換を用いて、ソートを介して線形作業量で重み付きランダム順列を実現できるか？

主な発見

• 提案された並列アリス表構築法は、前処理およびクエリフェーズの両方で最大158スレッドでニアーライナー速度向上を達成した。
• 復元ありの出力に敏感なサンプリングアルゴリズムは、異なるサンプル数に比例する線形作業量を用い、歪んだ分布において顕著なパフォーマンス向上を実現した。
• 分散重み付きリザーバー・サンプリングは、最大256ノード（5120コア）で良好な速度向上を示し、高いスケーラビリティと低通信オーバーヘッドを実現した。
• 重み付きランダム順列のためのアルゴリズムは、ランダム変数の非線形変換を用い、ソートを介して線形作業量を実現し、高価なサンプリングステップを回避した。
• 通信効率の高い分散リザーバー・サンプリングアルゴリズムは、局所作業量に対してサブリニアレベルのプロセッサ間通信にまで低減され、特にランダムデータ分布下で顕著だった。
• 逐次的アリス表構築法は簡素化され、空間効率が向上し、従来手法よりも実用的改善をもたらした。