[论文解读] Increasing GP Computing Power via Volunteer Computing

Daniel Lombraña González, Francisco Fernández de Vega+7 more|ArXiv.org|Jan 8, 2008

Distributed and Parallel Computing Systems参考文献 18被引用 9

一句话总结

本文提出利用BOINC志愿者计算平台，通过将遗传编程（GP）工作负载分发到数千台空闲的台式机上，显著提升GP的计算能力。研究展示了三种方法——直接移植、静态链接和虚拟化，利用免费的志愿者资源，实现了最高达4.48倍的加速，计算能力达到25.67 GFLOPS。

ABSTRACT

This paper describes how it is possible to increase GP Computing Power via Volunteer Computing (VC) using the BOINC framework. Two experiments using well-known GP tools -Lil-gp & ECJ- are performed in order to demonstrate the benefit of using VC in terms of computing power and speed up. Finally we present an extension of the model where any GP tool or framework can be used inside BOINC regardless of its programming language, complexity or required operating system.

研究动机与目标

• 通过利用分布式志愿者计算资源，解决运行计算密集型遗传编程（GP）实验的高成本问题。
• 克服传统串行GP执行的局限性，以及研究人员在发展中国家难以负担专用集群或GRID计算资源的问题。
• 实现多种GP框架——无论编程语言、操作系统或复杂度如何——无缝集成到可扩展的志愿者计算环境中。
• 证明在志愿者驱动的BOINC基础设施上运行真实世界、复杂GP应用（例如计算机视觉领域）的可行性与性能提升。

提出的方法

• 利用BOINC中间件，将GP工作负载分发到地理分布广泛的志愿者台式机网络上。
• 实施三种不同的集成策略：(1) 将轻量级GP工具（Lil-gp）直接移植；(2) 使用静态链接的GP框架（ECJ）实现跨平台部署；(3) 采用虚拟化层（基于虚拟机）封装复杂且不可移植的GP系统（如基于MATLAB的系统），使其可在任何BOINC客户端上执行。
• 设计一种虚拟化的BOINC环境，将完整的科学计算栈（操作系统、库、工具）打包为单一镜像，并在任何主机操作系统（Windows、Linux、macOS）上执行。
• 通过执行时间、加速比和有效计算能力（GFLOPS）等指标，在不同问题规模和配置的多个实验中测量性能表现。
• 在BOINC中使用参数扫描模型并行运行多个GP配置，提升统计稳健性和解的质量。
• 利用BOINC内置的任务调度、容错机制和客户端管理功能，应对主机动态可用性（即“主机流失”）问题，确保计算的可靠性。

实验结果

研究问题

• RQ1 通过BOINC的志愿者计算能否有效扩展遗传编程工作负载的执行，从而降低计算密集型问题的运行时间？
• RQ2 在不修改代码的前提下，多样化的GP框架——尤其是复杂且不可移植的框架——在志愿者计算环境中集成的程度如何？
• RQ3 当GP应用在大规模异构志愿者机器池中分布执行时，其性能（加速比、计算能力）如何随规模扩展？
• RQ4 在志愿者计算平台上部署真实世界GP应用（如计算机视觉领域应用）面临哪些实际挑战，以及相应的解决方案是什么？

主要发现

• 使用BOINC志愿者计算，20位多路选择器问题的加速比达到1.95，执行时间从41台机器上的1305330秒减少至669759秒。
• 对于涉及基于MATLAB的GP工具的复杂计算机视觉问题，基于虚拟化的方法实现了4.48倍的加速，12个解在48小时内生成，而串行执行需215小时。
• 在最复杂的实验中，有效计算能力达到25.67 GFLOPS，证明了在志愿者资源上运行高性能GP工作负载的可行性。
• 虚拟化层通过将整个计算环境封装在虚拟机镜像中，使依赖MATLAB的不可移植GP框架可在任何BOINC客户端上运行，无论操作系统或系统配置如何。
• 尽管存在主机流失和可用性不规则的问题，系统仍保持了可靠性和高性能，在11位多路选择器实验中完成了868,352次适应度评估。
• 该方法为运行大规模GP实验提供了一种零成本、可扩展且可移植的解决方案，尤其对缺乏高端计算基础设施的研究人员具有显著优势。