[論文レビュー] Simple, Optimal Algorithms for Random Sampling Without Replacement

Daniel Ting|arXiv (Cornell University)|Apr 11, 2021

Algorithms and Data Compression参考文献 4被引用数 6

ひとこと要約

本稿では、密度の高い配列の初期化を避けるためにスパースハッシュテーブルを用いることで、O(k)の時間計算量と空間計算量を達成する、簡単で最適な非復元無作為抽出のアルゴリズムを提示する。スパース・フィッシャー＝イェイツ法やベータ・二項分布を用いた順序付き抽出といった、従来の手法よりも効率的で、順次処理、分散処理、ストリーミング環境においても適用可能な新規手法を導入している。

ABSTRACT

Consider the fundamental problem of drawing a simple random sample of size k without replacement from [n] := {1, . . . , n}. Although a number of classical algorithms exist for this problem, we construct algorithms that are even simpler, easier to implement, and have optimal space and time complexity.

研究の動機と目的

• k ≪ n の場合に、古典的なフィッシャー＝イェイツ法やハッシュベースのメンバーシップチェック手法がO(n)の空間計算量を要し、時間計算量も最適でないという非効率性を解消する。
• ハッシュテーブルを用いたスパース表現により、変更された配列要素のみを格納することで、空間計算量と時間計算量をO(k)に削減する。
• ストリーミングデータや複数のデータソースからのマージ済みデータセットを含む、順次処理および分散処理環境でも効率的な抽出を可能にする。
• 置換の生成と表現を通じて、さまざまな抽出手法を統一的なフレームワークで結びつける。
• nは既知だがkが事前に不明な状況、またはデータが複数のマシンに分散している状況に対応できるアルゴリズムを設計する。

提案手法

• フィッシャー＝イェイツ法における密度の高い配列初期化を、変更されたインデックスのみを格納するハッシュテーブルに置き換えることで、空間計算量をO(k)に削減する。
• スパース・フィッシャー＝イェイツ法を用いて、影響を受けるインデックスのみをシミュレートすることで、O(k)時間およびO(k)空間でランダムサンプルを生成する。
• ディリクレ分布および多項分布を用いた一様間隔の上での分布を用いて、順番にアイテムの位置を抽出するベータ・二項分布法を適応する。
• ベータ・二項分布を用いて、i番目のサンプル済みアイテムの位置を X_i ~ Beta-Binomial(1, k, n-k) + 1 としてモデル化し、順序付き抽出を可能にする。
• 各ノードからのアイテム数をベータ分布および二項分布でモデル化することで、分散処理における抽出を可能にする。
• 補助的な一様乱数変数と順序統計量を用いて、各データセットからの抽出アイテム数を計算する分散サンプルのマージアルゴリズムを実装する。

実験結果

リサーチクエスチョン

• RQ1 k ≪ n の場合に、古典的なフィッシャー＝イェイツ法のO(n)の初期化コストを回避し、O(k)の時間計算量と空間計算量を達成できるような抽出アルゴリズムを設計できるか？
• RQ2 kが事前に不明な場合、例えば分散推定のための適応的抽出において、効率的な順次抽出をどのように実現できるか？
• RQ3 通信量を最小限に抑えつつ、最適なサンプルサイズを得られるように、複数のマシン間で効率的な分散無作為抽出を実現する最良の方法は何か？
• RQ4 複数のデータセットからの独立した無作為抽出を、再計算を伴わずに1つの単純無作為抽出に統合する方法は何か？
• RQ5 置換の生成と表現に基づく共通フレームワークを用いて、さまざまな抽出手法を統一できるか？

主な発見

• スパース・フィッシャー＝イェイツ法は、変更された配列要素のみを表すハッシュテーブルを用いることで、O(k)の時間計算量と空間計算量を達成し、O(n)の初期化を不要にする。
• このアルゴリズムは正確にk個の一様乱数変量を生成し、古典的なフィッシャー＝イェイツ法と同一の出力を得るが、空間計算量と時間計算量が最適である。
• ベータ・二項分布を用いた順序付きサンプラーは、アイテムの位置をベータ・二項分布でモデル化することで、効率的な順序付き抽出を可能にする。i番目のアイテムの位置は、Beta-Binomial(i, k−i+1, n−k)+i に従う。
• 分散サンプルのマージアルゴリズムは、補助的な一様乱数変数と順序統計量を用いて、各データセットからの抽出アイテム数を計算し、結合データセットの有効な単純無作為抽出を保証する。
• 相対的閾値 T₁ および T₂ を条件とする二項分布を用いて κ₁ および κ₂ を計算することで、マージされたサンプルの効率的なダウンサンプリングが可能になる。
• 従来のハッシュベースのメンバーシップチェック手法とは異なり、kがnに近い場合でも期待時間計算量がO(n log(n/(n−k)))となるという欠点を抱えるが、本手法は実装がより簡単で、より効率的である。