[论文解读] Enabling Rapid Development of Parallel Tree Search Applications

Jeffrey P. Gardner, Andrew J. Connolly+1 more|ArXiv.org|Sep 12, 2007

Parallel Computing and Optimization Techniques参考文献 11被引用 7

一句话总结

该论文介绍了 Ntropy，一个高性能库，可加速大规模天体物理学数据集的并行树搜索应用的快速开发。通过结合基于议程的并行计算、远程方法调用（RMI）以及智能数据缓存，Ntropy 使科学家能够以极少的并行编程经验编写高效且可扩展的树算法，在分布式系统上实现 6–30× 的串行实现加速和出色的并行可扩展性。

ABSTRACT

Virtual observatories will give astronomers easy access to an unprecedented amount of data. Extracting scientific knowledge from these data will increasingly demand both efficient algorithms as well as the power of parallel computers. Nearly all efficient analyses of large astronomical datasets use trees as their fundamental data structure. Writing efficient tree-based techniques, a task that is time-consuming even on single-processor computers, is exceedingly cumbersome on massively parallel platforms (MPPs). Most applications that run on MPPs are simulation codes, since the expense of developing them is offset by the fact that they will be used for many years by many researchers. In contrast, data analysis codes change far more rapidly, are often unique to individual researchers, and therefore accommodate little reuse. Consequently, the economics of the current high-performance computing development paradigm for MPPs does not favor data analysis applications. We have therefore built a library, called Ntropy, that provides a flexible, extensible, and easy-to-use way of developing tree-based data analysis algorithms for both serial and parallel platforms. Our experience has shown that not only does our library save development time, it can also deliver excellent serial performance and parallel scalability. Furthermore, Ntropy makes it easy for an astronomer with little or no parallel programming experience to quickly scale their application to a distributed multiprocessor environment. By minimizing development time for efficient and scalable data analysis, we enable wide-scale knowledge discovery on massive datasets.

研究动机与目标

• 为应对来自 LSST 和 Pan-STARRS 等巡天项目产生的海量、多 TB 级天体物理学数据集分析日益增长的挑战。
• 降低在大规模并行平台（MPPs）上编写可扩展并行树搜索算法的高开发成本和复杂性。
• 使几乎没有并行编程经验的天文学家能够高效地将基于树的数据分析扩展到数千个处理器。
• 在不重写算法的前提下，实现从串行执行到并行执行的无缝过渡。
• 将共享内存编程的简便性与分布式计算的可扩展性相结合，用于不规则的树状数据结构。

提出的方法

• Ntropy 库使用远程方法调用（RMI）在远程计算节点上执行用户定义的子程序，为分布式内存系统提供类似共享内存的编程模型。
• 它支持用户定义的共享不规则数据结构，如图和树，隐藏了底层通信细节。
• 通过在内存中布局树节点，使通过单个 'next' 指针实现连续、缓存友好的遍历成为可能，从而最小化内存访问并提升串行性能。
• 采用缓存机制，将远程数据更新在本地累积，并批量刷新，以减少树遍历过程中的通信开销。
• 系统采用分治树遍历的过程虚拟化技术，在最小化数据移动的同时，实现处理器间的负载均衡。
• 它集成了选择性并行化部署，允许开发人员根据数据访问模式和性能特征，仅在有益处时应用并行化。

实验结果

研究问题

• RQ1 编程库能否显著减少开发可扩展并行树搜索算法用于天体物理学数据的时间和复杂性？
• RQ2 如何在分布式内存、大规模并行平台中有效暴露共享内存编程抽象，以支持不规则数据结构？
• RQ3 该库在不进行算法重构的前提下，能在多大程度上同时实现高串行性能和强并行可扩展性？
• RQ4 远程方法调用（RMI）能否被有效用于在基于树的数据分析中实现粗粒度、灵活的并行性？
• RQ5 如何通过智能缓存和数据预取策略最小化分布式树遍历中的通信开销？

主要发现

• Ntropy 在 n 点相关函数计算中，性能比广泛使用的串行实现 'npt' 快 6 到 30 倍。
• 该库的内存布局支持高效、连续的树遍历，最大化缓存利用率，显著提升了串行性能。
• Ntropy 展现出强大的并行可扩展性，使基于树的算法能在数千个处理器上高效执行，且开发人员投入极少。
• 使用 RMI 和共享内存抽象使科学家能够以自然、直观的方式编写算法，而不受底层并行编程模型的限制。
• 远程数据更新的缓存减少了通信延迟，尤其在不规则、不可预测的树遍历模式下性能提升明显。
• 该库提供了无缝的升级路径，使同一段代码无需重写即可在工作站和大规模超级计算机上高效运行。