[论文解读] A Data-Parallel Version of Aleph

Stasinos Konstantopoulos|ArXiv.org|Aug 10, 2007

Parallel Computing and Optimization Techniques参考文献 7被引用 13

一句话总结

本文提出了一种数据并行扩展的Aleph ILP系统，通过MPI将示例数据分布在多个节点上，以加速子句评估。通过将假设的证明检查任务卸载到集群上，该方法显著提升了性能——尤其在大规模数据集上，使用16个节点在复杂背景理论下实现了最高5.9倍的加速，证实当数据量为主要瓶颈时，数据并行性是有效的。

ABSTRACT

This is to present work on modifying the Aleph ILP system so that it evaluates the hypothesised clauses in parallel by distributing the data-set among the nodes of a parallel or distributed machine. The paper briefly discusses MPI, the interface used to access message- passing libraries for parallel computers and clusters. It then proceeds to describe an extension of YAP Prolog with an MPI interface and an implementation of data-parallel clause evaluation for Aleph through this interface. The paper concludes by testing the data-parallel Aleph on artificially constructed data-sets.

研究动机与目标

• 为了解决像Aleph这样的ILP系统所面临的高计算成本问题，即使在高性能硬件上，这些系统也常常需要数天才能完成。
• 通过利用并行和分布式计算资源，减少ILP实验中的实际运行时间。
• 在Aleph中使用MPI实现数据并行的子句评估，支持将示例集可扩展地分发到多个节点。
• 评估数据并行性是否能有效缓解因大规模数据集导致的性能瓶颈。

提出的方法

• 扩展YAP Prolog以支持MPI接口，实现分布式节点间的消息传递通信。
• 将集群中示例数据集划分为多个部分，每个节点独立分配一个子集以评估假设。
• 使用MPI的点对点通信原语（带标签和数据类型的发送/接收）协调数据分发和结果聚合。
• 实现一种数据并行评估策略，使每个节点独立地在其分配的数据子集上证明候选子句。
• 使用MPI_COMM_WORLD作为全局通信器来管理计算中的所有节点，其中节点秩0作为主节点。
• 设计系统使得证明阶段——尤其是将假设与示例进行对比验证——成为可并行化的组件。

实验结果

研究问题

• RQ1 当数据集大小为主要瓶颈时，数据并行性是否能有效减少Aleph中ILP子句评估的实际运行时间？
• RQ2 在轻量级和复杂背景理论下，数据并行Aleph的性能如何随节点数量增加而扩展？
• RQ3 在哪些场景下，数据并行性比或并行性在ILP系统中更有效？
• RQ4 将示例分发到多个节点是否能降低每个节点的内存压力，从而在资源受限的硬件上支持更大规模的实验？
• RQ5 当背景理论计算开销增加时，Amdahl定律如何影响数据并行ILP的可扩展性？

主要发现

• 在16个节点上，数据并行Aleph在轻量背景理论上的实际运行时间为168.0秒，相比串行版本（991.9秒）实现了5.9倍的加速。
• 在复杂背景理论下，使用64个节点时，系统实际运行时间为8,253.0秒，超过32个节点后性能增益微乎其微，这符合Amdahl定律的预测。
• 在复杂背景理论下，增加节点数超过24–32个后，性能提升逐渐减弱，表明随着背景复杂度增加，证明阶段在整体时间中占比越来越高。
• 通过将示例集分发到多个节点，数据并行方法有效降低了每个节点的内存压力，使得在内存受限的机器上运行更大规模实验成为可能。
• 当瓶颈主要来自数据量而非搜索空间复杂度时，数据并行性最为有效，这一点在复杂背景理论下扩展性较慢的现象中得到了验证。
• 或并行性更适合于减少搜索空间的遍历时间，而数据并行性则在加速对大规模数据集的假设评估方面表现更优。