[논문 리뷰] High-productivity, high-performance workflow for virus-scale electrostatic simulations with Bempp-Exafmm

Tingyu Wang, Christopher D. Cooper외 2명|arXiv (Cornell University)|2021. 03. 01.

Bacteriophages and microbial interactions참고 문헌 26인용 수 5

한 줄 요약

이 논문은 Bempp-Exafmm를 사용하여 바이러스 규모 전기적 상호작용 시뮬레이션을 위한 고생산성·고성능 워크플로우를 제시한다. Bempp의 파이썬 기반 경계 요소 방법과 Exafmm의 커널 독립적 빠른 다중극 방법을 결합하여, O(N) 스케일링을 보장하는 파이썬 기반 Jupyter 환경에서의 상호작용형 프로토타이핑이 가능한 파oisson-Boltzmann 해소자기를 가능하게 한다. 단일 노드에서 1,000만 개의 경계 요소를 가진 지카 바이러스의 용해 자유 에너지 계산에 80분이 소요되었다.

ABSTRACT

Biomolecular electrostatics is key in protein function and the chemical processes affecting it. Implicit-solvent models via the Poisson-Boltzmann (PB) equation provide insights with less computational cost than atomistic models, making large-system studies -- at the scale of viruses -- accessible to more researchers. Here we present a high-productivity and high-performance linear PB solver based on Exafmm, a fast multipole method library, and Bempp, a Galerkin boundary element method package. The workflow integrates an easy-to-use Python interface with optimized computational kernels, and can be run interactively via Jupyter notebooks, for faster prototyping. Our results show the capability of the software, confirm code correctness, and assess performance with between 8,000 and 2 million elements. Showcasing the power of this interactive computing platform, we study the conditioning of two variants of the boundary integral formulation with just a few lines of code. Mesh-refinement studies confirm convergence as $1/N$, for $N$ boundary elements, and a comparison with results from the trusted APBS code using various proteins shows agreement. Our binding energy calculations using 9 various complexes align with the results from using five other grid-based PB solvers. Performance results include timings, breakdowns, and computational complexity. Exafmm offers evaluation speeds of just a few seconds for tens of millions of points, and $\mathcal{O}(N)$ scaling. The trend observed in our performance comparison with APBS demonstrates the advantage of Bempp-Exafmm in applications involving larger structures or requiring higher accuracy. Computing the solvation free energy of a Zika virus, represented by 1.6 million atoms and 10 million boundary elements, took 80-min runtime on a single compute node (dual 20-core).

연구 동기 및 목표

• 리더십 수준의 계산 시설을 초월한 대규모 생물분자 전기적 상호작용 시뮬레이션을 위한 접근성 있고 고생산성 플랫폼을 개발하기 위해.
• 고수준의 파이썬 코드를 사용하여 선형 파oisson-Boltzmann 방정식의 경계 적분 형식을 빠르게 프로토타이핑할 수 있도록 하기 위해.
• Bempp와 Exafmm의 통합을 통해 바이러스 규모 시스템(최대 1,000만 개의 경계 요소)에 대해 고성능를 달성하기 위해.
• 기존의 APBS 및 격자 기반 방법과의 정확도 및 성능 비교를 통해 검증하기 위해.
• 기본 HPC 하드웨어에서 전체 바이러스의 고해상도 전기적 상호작용 시뮬레이션을 상호작용형으로 수행할 수 있는 가능성을 입증하기 위해.

제안 방법

• 워크플로우는 파이썬 기반 갈루아 경계 요소 방법 라이브러리인 Bempp와 고성능 커널 독립적 빠른 다중극 방법(KIFMM) 라이브러리인 Exafmm-t를 결합한다.
• 선형 파oisson-Boltzmann 방정식을 위한 경계 적분 방정식은 Bempp의 고수준 파이썬 인터페이스 내에서 갈루아 이산화를 통해 수립된다.
• Exafmm-t는 경계 요소의 계층적 클러스터링과 원거리 상호작용의 낮은 질량 근사치를 통해 행렬-벡터 곱 연산을 가속화한다.
• 이 알고리즘은 이중 트리 순회를 통해 입자-다중극(P2M), 다중극-다중극(M2M), 다중극-국소(M2L), 국소-국소(L2L), 국소-입자(L2P), 입자-입자(P2P) 변환을 사용한다.
• 직접 및 Juffer 유형의 경계 적분 형식을 모두 지원하며, 형식 변경은 소수의 코드 수정으로만 가능하다.
• 전체 워크플로우는 상호작용 가능하고 재현 가능한 Jupyter 노트북에 팩키징되었으며, 이식성을 위해 도커 지원도 제공한다.

실험 결과

연구 질문

• RQ1 고생산성·상호작용형 파이썬 기반 워크플로우가 바이러스 규모 전기적 상호작용 시뮬레이션에서 고성능를 달성할 수 있는가?
• RQ2 Bempp-Exafmm 프레임워크는 대규모 생물분자 시스템에서 APBS와 같은 기존의 해소자리와 정확도 및 성능 면에서 어떻게 비교되는가?
• RQ3 최대 200만 개의 경계 요소를 가진 시스템에 대해 Bempp-Exafmm 해소자의 계산 복잡도 및 스케일링 행동은 어떠한가?
• RQ4 이 프레임워크는 지카 바이러스와 같은 큰 바이러스의 용해 자유 에너지를 효율적으로 계산할 수 있는가?
• RQ5 최소한의 코드 수정으로 실제 적용에서 다양한 경계 적분 형식의 조건 수치는 어떻게 비교되는가?

주요 결과

• Bempp-Exafmm 워크플로우는 Exafmm-t를 사용하여 O(N) 계산 복잡도를 달성했으며, 수천만 개의 점에 대해 몇 초 내로 평가 속도를 확보했다.
• 메esh 정밀도 연구를 통해 N개의 경계 요소에 대해 수렴 속도가 1/N로 확인되어 해소자의 수치 정확도가 검증되었다.
• 아홉 개의 단백질 복합체의 결합 에너지 계산 결과는 다섯 개의 다른 격자 기반 PB 해소자와 강한 일치를 보였다.
• 단일 듀얼 20코어 컴퓨팅 노드에서 160만 개의 원자와 1,000만 개의 경계 요소를 가진 지카 바이러스 모델의 용해 자유 에너지를 80분 내로 정확하게 계산했다.
• APBS와의 성능 비교를 통해 더 큰 시스템이나 더 높은 정밀도가 요구되는 응용 분야에서 Bempp-Exafmm가 우수한 스케일링 성능과 낮은 메모리 사용량 덕분에 유리함을 입증했다.
• 상호작용형 Jupyter 노트북 인터페이스를 통해 몇 줄의 코드로만 다양한 경계 적분 형식의 프로토타이핑과 비교가 가능해졌다.