[论文解读] Folding@Home and Genome@Home: Using distributed computing to tackle previously intractable problems in computational biology

Stefan Larson, Christopher D. Snow+2 more|ArXiv.org|Jan 7, 2009

Genomics and Phylogenetic Studies参考文献 25被引用 278

一句话总结

本文介绍了Folding@Home和Genome@Home，这两个分布式计算平台利用志愿者提供的个人计算机，解决计算生物学中此前难以处理的问题，例如蛋白质折叠模拟。通过利用全球分布的数万台机器，该方法将模拟速度提升了数个数量级，使得此前在传统硬件上计算成本过高的复杂生物过程研究成为可能。

ABSTRACT

For decades, researchers have been applying computer simulation to address problems in biology. However, many of these "grand challenges" in computational biology, such as simulating how proteins fold, remained unsolved due to their great complexity. Indeed, even to simulate the fastest folding protein would require decades on the fastest modern CPUs. Here, we review novel methods to fundamentally speed such previously intractable problems using a new computational paradigm: distributed computing. By efficiently harnessing tens of thousands of computers throughout the world, we have been able to break previous computational barriers. However, distributed computing brings new challenges, such as how to efficiently divide a complex calculation of many PCs that are connected by relatively slow networking. Moreover, even if the challenge of accurately reproducing reality can be conquered, a new challenge emerges: how can we take the results of these simulations (typically tens to hundreds of gigabytes of raw data) and gain some insight into the questions at hand. This challenge of the analysis of the sea of data resulting from large-scale simulation will likely remain for decades to come.

研究动机与目标

• 解决模拟蛋白质折叠和基因组规模生物过程的计算不可行性问题。
• 通过利用志愿者拥有的个人计算机的空闲计算周期，克服传统高性能计算的局限性。
• 开发可在地理分布广泛、带宽较低的网络中划分复杂模拟的可扩展方法。
• 管理和提取大规模模拟产生的海量数据输出中的生物学洞见。
• 开创计算生物学的新范式，实现此前无法触及的生物机制的发现。

提出的方法

• 该平台采用客户端-服务器架构，志愿者安装软件后，可贡献其空闲的CPU和GPU计算周期用于分布式计算任务。
• 将模拟划分为小型、独立的工作单元，分发给参与的客户端，并在完成后回收汇总。
• 系统采用高效的数据打包机制和容错设计，以应对不稳定或间歇性网络连接。
• 通过冗余校验和加密哈希技术确保在异构硬件上数据完整性的可靠性。
• 该框架同时支持分子动力学模拟（Folding@Home）和基因组序列分析（Genome@Home）。
• 中心化服务器负责任务分发、进度监控，并将结果整合为可用于生物分析的结构化数据集。

实验结果

研究问题

• RQ1 如何有效扩展分布式计算，以在生物相关的时间尺度上模拟蛋白质折叠？
• RQ2 需要哪些架构和网络策略，才能高效管理数千台异构、低带宽的客户端机器？
• RQ3 当依赖不可信的志愿者计算资源时，如何确保结果的完整性和正确性？
• RQ4 可以采用哪些方法从TB级的模拟输出数据中提取有意义的生物学洞见？
• RQ5 分布式计算能否显著缩短研究复杂生物系统所需的时间，使其超越传统超级计算机的能力范围？

主要发现

• 该分布式计算模型使原本在单个CPU上需数十年才能完成的蛋白质折叠模拟，缩短至数周内完成。
• 通过利用超过100,000台志愿者计算机，系统实现了与顶级超算相当的持续计算吞吐量。
• 该平台成功实现了在异构网络中个人计算机之间数据传输与容错管理，这些计算机的可靠性与带宽各不相同。
• 该系统证明了在前所未有的规模和速度下执行大规模分子动力学模拟的可行性。
• 作者观察到，模拟产生的数据洪流带来了新挑战：如何从每项模拟产生的数百GB原始输出中提取具有生物学意义的洞见。
• 该方法验证了志愿计算在解决计算生物学中曾被认为不可行的“重大挑战”问题方面的潜力。