[论文解读] Counting Square-Free Numbers

Jakub Pawlewicz|arXiv (Cornell University)|Jul 25, 2011

Benford’s Law and Fraud Detection参考文献 3被引用 4

一句话总结

本文提出了一种新颖的算法，用于计算不超过 $ n $ 的无平方数的个数，利用基于 Möbius 函数和 Mertens 函数的改进求和公式，实现了 $ \tilde{O}(n^{2/5}) $ 的时间复杂度和 $ \tilde{O}(n^{1/5}) $ 的空间复杂度。该方法在 256 个处理器上运行 88 小时，成功计算出 $ S(10^{36}) $，显著超越了先前 $ n = 10^{17} $ 的极限。

ABSTRACT

The main topic of this contribution is the problem of counting square-free numbers not exceeding $n$. Before this work we were able to do it in time (Comparing to the Big-O notation, Soft-O ($\softO$) ignores logarithmic factors) $\softO(\sqrt{n})$. Here, the algorithm with time complexity $\softO(n^{2/5})$ and with memory complexity $\softO(n^{1/5})$ is presented. Additionally, a parallel version is shown, which achieves full scalability. As of now the highest computed value was for $n=10^{17}$. Using our implementation we were able to calculate the value for $n=10^{36}$ on a cluster.

研究动机与目标

• 开发一种比先前 $ \tilde{O}(\sqrt{n}) $ 边界更快的算法，用于计算不超过 $ n $ 的无平方数的确切个数 $ S(n) $。
• 将空间复杂度从 $ O(\sqrt[4]{n}) $ 降低至 $ \tilde{O}(n^{1/5}) $，从而支持更大 $ n $ 的计算。
• 设计一种完全可扩展的并行实现，能够处理 $ n = 10^{36} $，扩展已知的 $ S(n) $ 计算范围。
• 通过大规模计算 $ S(10^e) $（其中 $ e \leq 36 $），包括 $ S(10^{36}) $，验证正确性和可扩展性。

提出的方法

• 通过将 $ d \leq \sqrt{n} $ 的求和拆分为两部分 $ d \leq D $ 和 $ d > D $，其中 $ D = \tilde{O}(n^{2/5}) $，推导出 $ S(n) $ 的新公式。
• 使用 Iverson 括号和向下取整函数重写尾部求和 $ S_2(n) $，按 $ \lfloor n/d^2 \rfloor $ 的值对 $ d $ 的项进行分组，从而实现对 $ d $ 的区间高效求和。
• 引入基于块的计算策略，利用 Mertens 函数 $ M(x) = \sum_{k=1}^x \mu(k) $，通过预计算的 Möbius 函数块实现高效更新。
• 在并行版本中采用工作负载均衡技术，使用成本模型 $ T(a) = t_s a + t_u U(a) $，将 $ d $ 值的块均匀分配到各处理器。
• 采用共享内存模型，通过原子更新操作维护全局求和与 Mertens 数组，确保并发访问下的正确性。
• 采用混合方法：对 $ e \leq 26 $ 使用串行计算，对 $ e \geq 24 $ 使用并行计算，并在重叠范围内交叉验证结果。

实验结果

研究问题

• RQ1 能否将无平方数计数的时间复杂度降低至 $ \tilde{O}(\sqrt{n}) $ 以下？若能，降低幅度如何？
• RQ2 在计算 $ S(n) $ 时，时间与空间复杂度之间是否存在最优权衡？能否将其降低至 $ \tilde{O}(n^{1/5}) $？
• RQ3 能否设计一种完全可扩展的并行算法，即使在工作量分布不均的情况下也能保持负载均衡？
• RQ4 该算法能否用于计算 $ n = 10^{36} $ 的 $ S(n) $？其性能随 $ n $ 增大如何扩展？
• RQ5 精确计算 $ S(n) $ 的实际极限是什么？与先前的最先进方法相比，新方法表现如何？

主要发现

• 所提出的算法实现了 $ \tilde{O}(n^{2/5}) $ 的时间复杂度和 $ \tilde{O}(n^{1/5}) $ 的空间复杂度，相较于先前的 $ \tilde{O}(\sqrt{n}) $ 和 $ O(\sqrt[4]{n}) $ 边界有显著提升。
• 并行版本完全可扩展，在 $ e = 24 $ 到 $ 36 $ 范围内，理想时间与实际计算时间高度吻合，表明负载均衡效果良好。
• 该算法在集群上使用 256 个处理器，88 小时内成功计算出 $ S(10^{36}) $，将已知最大 $ n $ 从 $ 10^{17} $ 扩展至 $ 10^{36} $。
• 对 $ e \leq 31 $ 的结果通过串行和并行运行均进行了验证，确认了不同实现之间的一致性与正确性。
• 基于成本函数 $ T(a) = t_s a + t_u U(a) $ 的工作负载均衡策略有效缓解了负载不均问题，尤其在高更新区域如 $ d \leq \sqrt{D} $ 效果显著。
• 由于每个块都需要从头重新计算 Mertens 函数值，处理器数量受限于 $ \tilde{O}(n^{2/15}) $。