[論文レビュー] Variants of Mersenne Twister Suitable for Graphic Processors

Mutsuo Saito, Makoto Matsumoto|arXiv (Cornell University)|May 27, 2010

Chaos-based Image/Signal Encryption参考文献 16被引用数 11

ひとこと要約

本稿では、GPUアーキテクチャに最適化されたMersenne Twisterの変種であるMTGPを提案する。MTGPは、多数のスレッドが1つの大きな状態空間を共有することで、長期間の周期と高次元の等分布性を達成し、大量並列処理を活用する。また、独立した乱数ストリームを大規模なGPUグリッドでスケーラブルに使用可能にするために、2^32個の異なる高品質なパラメータセットを生成するMTGPDCというパラメータジェネレータも導入する。

ABSTRACT

This paper proposes a type of pseudorandom number generator, Mersenne Twister for Graphic Processor (MTGP), for efficient generation on graphic processessing units (GPUs). MTGP supports large state sizes such as 11213 bits, and uses the high parallelism of GPUs in computing many steps of the recursion in parallel. The second proposal is a parameter-set generator for MTGP, named MTGP Dynamic Creator (MTGPDC). MT- GPDC creates up to 2^32 distinct parameter sets which generate sequences with high-dimensional uniformity. This facility is suitable for a large grid of GPUs where each GPU requires separate random number streams. MTGP is based on linear recursion over the two-element field, and has better high-dimensional equidistribution than the Mersenne Twister pseudorandom number generator.

研究の動機と目的

• GPUの大量並列処理を効率的に活用しつつ、高い統計的品質を維持する擬似乱数生成器（PRNG）の設計。
• GPUにおけるスレッドごとのPRNGの限界を克服すること。これは、高速メモリの制限により状態空間が小さくなるためである。
• 大規模なGPUグリッドにおいて、各GPUまたはスレッドが固有で相関のない乱数列を必要とする状況で、独立した乱数ストリームを提供すること。
• スケーラブルな展開を可能にするために、埋め込まれたIDを備えた系統的な高品質で異なるパラメータセットを生成するパラメータジェネレータの開発。
• 特に高次元のシミュレーションにおいて、生成されたシーケンス間の強い等分布性と最小限の線形依存性を保証すること。

提案手法

• MTGPは、複数のGPUスレッドが共有する1つの大きな状態空間（例：11213ビット）を用い、長期間の周期と高次元の等分布性を実現する。
• アルゴリズムは、スレッド間で並列にMersenne Twisterの再帰的計算を実行し、高速アクセスとメモリアクセスのコalescingを実現するため、状態を共有メモリに格納する。
• MTGPDCは、再帰パラメータに32ビットのIDを埋め込むことで、異なるIDを持つストリーム間の独立性を保証する。
• パラメータ生成プロセスは、高次元での等分布性を最大化するために、非可約な特性多項式とトマッピングパラメータを選択する。
• MTGPは、CUDAカーネルを用いてグローバルメモリに擬似乱数を生成し、同期と状態の再読み込みにより、カーネル呼び出し間で状態を永続化する。
• 設計はGPUのメモリ階層を考慮しており、スレッドごとのレジスタ、ブロックごとの共有メモリ、および永続的状態と出力用のグローバルメモリを活用する。

実験結果

リサーチクエスチョン

• RQ1 1つの大きな状態を持つPRNGを、数千のGPUスレッドに効率的に並列化することで、高い性能と高い統計的品質の両方を達成できるか？
• RQ2 GPU最適化PRNGのためのパラメータセットを動的に生成する方法は何か？ これにより、数千の独立したストリーム間で独立性と高次元等分布性を保証できるか？
• RQ3 再帰パラメータに固有のIDを埋め込むことで、生成されたシーケンスの統計的独立性と等分布性にどのような影響があるか？
• RQ4 MTGPは、既存のGPU PRNGと比較して、速度、周期長、統計的頑健性の面でどのように異なるか？
• RQ5 共有状態設計は、GPU PRNGにおける状態サイズと並列処理のトレードオフをどの程度軽減できるか？

主な発見

• MTGPは、CURANDなどの高速なGPU PRNGと同等の性能を達成しており、1.7倍も速く、等分布性と周期長の面で優れた統計的保証を提供する。
• MTGPはBigCrushの統計的テストをすべて合格するが、F2線形依存性を測定するテストを除く。これはMersenne TwisterやWELLに対しても知られている制限であり、実用的なシミュレーション品質に影響を与えない。
• MTGPDCは、周期が2^11213−1、2^23209−1、2^44497−1の各々について、最大2^32個の異なるパラメータセットを生成でき、高次元等分布性を有する。
• MTGPにおける理論的と実際の等分布次元の差は、元のMersenne Twisterよりも小さいため、同じストレージ容量でより優れた統計的品質を実現している。
• 異なる非可約特性多項式とID埋め込みパラメータの使用により、ストリーム間の相関のリスクが低減され、大規模なGPU展開における独立性が向上する。
• MTGPの共有状態設計により、GPUメモリ階層を効率的に活用でき、状態は共有メモリに、出力はグローバルメモリに格納され、カーネル起動間での状態の永続化が可能になる。