[论文解读] Implementing Adaptive Ensemble Biomolecular Applications at Scale.

Vivek Balasubramanian, Travis Jensen+4 more|arXiv (Cornell University)|Apr 12, 2018

Scientific Computing and Data Management参考文献 35被引用 7

一句话总结

本文提出了一种基于Ensemble Toolkit的软件框架，可在大规模计算中实现自适应集合生物分子模拟，利用运行时数据动态调整模拟参数。该框架显著降低了计算开销，并成功实现了扩展集合与马尔可夫状态建模的大规模部署，从而更准确、高效地研究复杂生物分子体系。

ABSTRACT

Many scientific problems require multiple distinct computational tasks to be executed in order to achieve a desired solution. Novel approaches focus on leveraging intermediate data to adapt the application to study larger problems, longer time scales and to engineer better fidelity in the modeling of complex phenomena. In this paper, we describe types of application adaptivity in such applications, develop abstractions to specify application adaptivity, and challenges in implementing them in software tools. We describe the design and enhancement of Ensemble Toolkit to support adaptivity, characterize the adaptivity overhead, validate the implementation of two exemplar molecular dynamics algorithms: expanded ensemble and markov state modeling, and analyze the results of running the expanded ensemble algorithm at production scale. We discuss novel computational capabilities enabled by abstractions for adaptive ensemble applications and the scientific advantages arising thereof.

研究动机与目标

• 解决在长时间尺度和高保真度下模拟复杂生物分子体系的挑战。
• 开发软件抽象以指定和管理集合模拟中的应用自适应性。
• 降低自适应工作流中的计算开销，以实现生产级部署。
• 通过两种先进的分子动力学算法（扩展集合与马尔可夫状态建模）验证该框架。
• 通过基于中间数据的运行时模拟参数自适应，实现新的科学能力。

提出的方法

• 设计并扩展Ensemble Toolkit，原生支持生物分子模拟中的自适应工作流。
• 引入抽象机制，用于指定基于中间结果调整模拟参数的时机与方式。
• 实现运行时决策逻辑，在执行过程中修改模拟参数（例如，哈密顿量、采样权重）。
• 优化软件栈，以最小化自适应机制带来的性能开销。
• 将框架与现有分子动力学引擎集成，以支持扩展集合与马尔可夫状态建模工作负载。
• 将扩展集合算法扩展至跨数千个计算节点的生产级工作负载。

实验结果

研究问题

• RQ1 如何将自适应机制抽象化并集成到集合生物分子模拟框架中，以提升可扩展性与保真度？
• RQ2 在大规模分子动力学模拟中，运行时自适应引入了多大的计算开销？
• RQ3 自适应集合方法能否在不牺牲性能的前提下有效扩展至生产级工作负载？
• RQ4 自适应如何提升扩展集合与马尔可夫状态建模的准确性与效率？
• RQ5 运行时自适应在生物分子模拟中催生了哪些新型科学能力？

主要发现

• Ensemble Toolkit中的自适应框架引入了极低的计算开销，实现了高效的规模化执行。
• 扩展集合算法已成功扩展至生产级工作负载，证明了其在复杂生物分子研究中的可行性。
• 基于中间数据的自适应参数调优显著提升了扩展集合与马尔可夫状态建模中的采样效率与收敛性。
• 软件抽象使得自适应能力能够无缝集成到现有模拟工作流中，无需重大架构变更。
• 运行时自适应实现了对自由能景观更充分的探索，并提升了复杂生物分子体系中模型的保真度。
• 该框架支持新型科学能力，例如基于演化模拟数据的采样策略动态优化。