[論文レビュー] Counting Square-Free Numbers

Jakub Pawlewicz|arXiv (Cornell University)|Jul 25, 2011

Benford’s Law and Fraud Detection参考文献 3被引用数 4

ひとこと要約

本稿では、メビ乌ス関数およびメルテンス関数に基づく精緻化された和公式を用いて、$ n $ までの平方自由数の個数を数えるための新規アルゴリズムを提示する。時間計算量は $ \tilde{O}(n^{2/5}) $、記憶領域計算量は $ \tilde{O}(n^{1/5}) $ を達成し、$ 10^{36} $ までの $ S(10^{36}) $ を 256 プロセッサを用いて 88 時間で計算可能であり、従来の $ n = 10^{17} $ の限界を著しく超える。

ABSTRACT

The main topic of this contribution is the problem of counting square-free numbers not exceeding $n$. Before this work we were able to do it in time (Comparing to the Big-O notation, Soft-O ($\softO$) ignores logarithmic factors) $\softO(\sqrt{n})$. Here, the algorithm with time complexity $\softO(n^{2/5})$ and with memory complexity $\softO(n^{1/5})$ is presented. Additionally, a parallel version is shown, which achieves full scalability. As of now the highest computed value was for $n=10^{17}$. Using our implementation we were able to calculate the value for $n=10^{36}$ on a cluster.

研究の動機と目的

• 従来の $ \tilde{O}(\sqrt{n}) $ の境界を超えて、$ S(n) $ としての平方自由数の正確な個数を計算するより高速なアルゴリズムの開発。
• 記憶領域計算量を $ O(\sqrt[4]{n}) $ から $ \tilde{O}(n^{1/5}) $ に低減し、より大きな $ n $ での計算を可能にする。
• $ n = 10^{36} $ を処理できる完全にスケーラブルな並列実装を設計し、$ S(n) $ の既知の範囲を拡張する。
• $ e \leq 36 $ における $ S(10^e) $ の大規模計算を通じて、正しさとスケーラビリティを検証し、$ S(10^{36}) $ を含む。

提案手法

• 和の範囲を $ d \leq \sqrt{n} $ に分け、$ D = \tilde{O}(n^{2/5}) $ を用いて $ d \leq D $ と $ d > D $ に分割することで、$ S(n) $ の新しい公式を導出する。
• アイビーソンブラケットと床関数を用いて、$ S_2(n) $ の末尾和を再定式化し、$ \lfloor n/d^2 \rfloor $ の値ごとに項をグループ化することで、$ d $ の範囲にわたる効率的な和算を可能にする。
• メルテンス関数 $ M(x) = \sum_{k=1}^x \mu(k) $ を用いたブロックベースの計算戦略を導入し、事前計算されたメビウス関数のブロックを用いて効率的な更新を実現する。
• 並列版では、コストモデル $ T(a) = t_s a + t_u U(a) $ を用いて、$ d $-値のブロックをプロセッサ間で均等に分散する作業負荷調整技術を採用する。
• 共有メモリモデルを採用し、グローバル和およびメルテンス配列に対してアトミック更新を適用することで、並列アクセス下でも正しさを保証する。
• ハイブリッド手法を採用：$ e \leq 26 $ は逐次計算、$ e \geq 24 $ は並列計算とし、重複する範囲で検証を実施する。

実験結果

リサーチクエスチョン

• RQ1 平方自由数の個数を数える時間計算量を $ \tilde{O}(\sqrt{n}) $ 未満に低下させることは可能か？ もし可能であれば、どの程度改善できるか？
• RQ2 $ S(n) $ を計算する際の時間計算量と記憶領域計算量の最適なトレードオフは何か？ また、$ \tilde{O}(n^{1/5}) $ まで低減可能か？
• RQ3 非一様な作業負荷分布にかかわらず、完全にスケーラブルな並列アルゴリズムを設計することは可能か？
• RQ4 このアルゴリズムを用いて $ n = 10^{36} $ における $ S(n) $ を計算可能か？ また、$ n $ の増加に伴い性能はどのようにスケーリングするか？
• RQ5 正確な $ S(n) $ の計算の実用的限界は何か？ また、本手法は従来の最先端技術と比較してどの程度優れているか？

主な発見

• 提案されたアルゴリズムは、$ \tilde{O}(n^{2/5}) $ の時間計算量と $ \tilde{O}(n^{1/5}) $ の記憶領域計算量を達成し、従来の $ \tilde{O}(\sqrt{n}) $ および $ O(\sqrt[4]{n}) $ の境界に対して顕著な改善を示した。
• 並列版は完全にスケーラブルであり、$ e = 24 $ から $ 36 $ の範囲で理想時間と実際の計算時間の差が小さく、効果的な負荷バランスが実現されている。
• 本アルゴリズムは、クラスタ上で 256 プロセッサを用いて 88 時間で $ S(10^{36}) $ を正しく計算し、既知の最大 $ n $ を $ 10^{17} $ から $ 10^{36} $ に拡張した。
• $ e \leq 31 $ の結果は、逐次実行と並列実行の両方で検証され、実装間での正しさと一貫性が確認された。
• コスト関数 $ T(a) = t_s a + t_u U(a) $ を用いた作業負荷調整戦略は、特に $ d \leq \sqrt{D} $ のような高頻度更新領域で、負荷の不均衡を効果的に緩和した。
• 各ブロックに対してメルテンス関数値を再計算するオーバーヘッドのため、プロセッサ数は $ \tilde{O}(n^{2/15}) $ に制限される。