[논문 리뷰] Complex Workflow Management and Integration of Distributed Computing Resources by Science Gateway Portal for Molecular Dynamics Simulations in Materials Science

Yuri Gordienko, L. V. Bekenov외 3명|arXiv (Cornell University)|2014. 04. 22.

Distributed and Parallel Computing Systems참고 문헌 12인용 수 5

한 줄 요약

이 논문은 분자의 역학(MD) 시뮬레이션을 위한 재료 과학 분야에서 이종 분산 계산 자원—클러스터, 그룹, 클라우드 등—을 원활하게 관리하고 통합할 수 있는 웹 기반 플랫폼인 IMP 과학 게이트웨이 포털을 제시한다. WS-PGRADE 및 gUSE 기술을 기반으로 구축된 이 포털은 복잡한 MD 워크플로우, 예를 들어 그래핀의 나노압입 및 붕소 질화물 나노튜브의 열적 안정성 분석을 효율적이고 확장 가능한 방식으로 다양한 인fra구처에서 실행할 수 있도록 하며, 사용자가 기초 시스템에 대해 전문 지식이 거의 필요로 하지 않도록 한다.

ABSTRACT

The "IMP Science Gateway Portal" (http://scigate.imp.kiev.ua) for complex workflow management and integration of distributed computing resources (like clusters, service grids, desktop grids, clouds) is presented. It is created on the basis of WS-PGRADE and gUSE technologies, where WS-PGRADE is designed for science workflow operation and gUSE - for smooth integration of available resources for parallel and distributed computing in various heterogeneous distributed computing infrastructures (DCI). The typical scientific workflow with possible scenarios of its preparation and usage is considered. Several typical science applications (scientific workflows) are considered for molecular dynamics (MD) simulations of complex behavior of various nanostructures (nanoindentation of graphene layers, defect system relaxation in metal nanocrystals, thermal stability of boron nitride nanotubes, etc.). The advantages and drawbacks of the solution are shortly analyzed in the context of its practical applications for MD simulations in materials science, physics and nanotechnologies with available heterogeneous DCIs.

연구 동기 및 목표

• 재료 과학 연구자들이 이종 분산 계산 인fra구처(DCIs)의 복잡성을 추상화할 수 있는 사용자 友好的 과학 게이트웨이 기반 인터페이스를 제공하기 위해.
• 데스크톱 그룹, 서비스 그룹, 클러스터, 클라우드를 포함한 다양한 DCI에서 복잡한 분자의 역학(MD) 시뮬레이션 워크플로우를 효율적으로 실행하기 위해.
• LAMMPS, R, Pizza.py, AtomEye, debyer 등의 다양한 과학 도구를 통합하여 종단 간 시뮬레이션 및 분석을 위한 통합 워크플로우 환경을 제공하기 위해.
• 그래핀, 금속 나노크리스탈, 붕소 질화물 나노튜브와 같은 나노구조를 포함한 실질적인 MD 시뮬레이션 시나리오에서 게이트웨이 솔루션의 장점과 한계를 평가하기 위해.
• 이종 인프라에서 자동화되고 확장 가능한 작업 실행을 통해 파라미터 스윕 및 대규모 MD 시뮬레이션의 가능성을 입증하기 위해.

제안 방법

• 포털은 워크플로우 오케스트레이션을 위한 WS-PGRADE 프레임워크와 이종 DCI(예: XtremWeb-HEP, OurGrid, BOINC SZDG, EDGeS 플랫폼 포함)를 투명하게 통합하기 위한 gUSE 기술 기반으로 구축된다.
• 과학적 워크플로우는 그래픽 인터페이스를 통해 재사용 가능하고 구성 가능한 파이프라인으로 설계되어, 사용자가 MD 시뮬레이션, 데이터 처리, 시각화 도구를 연결할 수 있도록 한다.
• DCI 브리지 컴ponent를 통해 다양한 DCI 유형 간의 작업 제출 및 모니터링을 지원하며, 이는 저수준 액세스 프로토콜과 자원 관리 방식을 추상화한다.
• 원자 척도 시뮬레이션에는 LAMMPS MD 패키지를 사용하고, 후처리에는 R을 통한 통계 분석, Pizza.py를 통한 파일 조작, AtomEye를 통한 시각화를 수행한다.
• X선 및 중성자 衍射 분석은 워크플로우에 통합된 debyer 도구를 통해 지원되며, 구조적 특성 분석에 기여한다.
• 사용자 맞춤형 GUI와 포틀릿을 제공하여 과학자들이 인fra구처 세부 정보에 신경 쓰지 않고도 과학적 목표에 집중할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 비전문가 사용자를 대상으로 하는 재료 과학 분야 연구자들이 이종 분산 계산 인프라(DCIs)의 복잡성을 효과적으로 추상화할 수 있는 과학 게이트웨이 포털은 어떻게 설계될 수 있는가?
• RQ2 데스크톱 그룹 및 서비스 그룹을 포함한 다양한 DCI 유형 간에 오케스트레이션된 MD 시뮬레이션의 성능과 확장성은 어떠한가?
• RQ3 통합 워크플로우 환경이 LAMMPS, R, debyer 등의 다양한 과학 도구를 종단 간 시뮬레이션 및 분석에 얼마나 잘 통합할 수 있는가?
• RQ4 실제 재료 과학 애플리케이션에서 WS-PGRADE/gUSE/DCI-Bridge 스택을 사용할 경우 실용적인 장점과 한계는 무엇인가?
• RQ5 포털은 나노압입 또는 열적 안정성 연구와 같은 복잡한 파라미터 스윕 MD 워크플로우를 효율적이고 신뢰성 있게 지원할 수 있는가?

주요 결과

• IMP 과학 게이트웨이 포털은 단일 웹 기반 인터페이스를 통해 클러스터, 데스크톱 그룹, 클라우드 자원을 포함한 이종 DCI에 투명하게 접근할 수 있도록 한다.
• 포털은 LAMMPS를 통한 MD 시뮬레이션, R을 통한 통계 분석, AtomEye를 통한 시각화를 포함한 복잡한 다단계 과학 워크플로우를 지원하며, 도구 간 원활한 데이터 흐름을 보장한다.
• 시스템은 그래핀 막의 나노압입 및 붕소 질화물 나노튜브의 열적 안정성 연구를 포함한 다양한 인프라에서 MD 시뮬레이션을 효과적으로 실행한 바 있다.
• 인장 하중 조건에서 금속 나노크리스탈의 파라미터 스윕 시뮬레이션은 효율적으로 실행되어 포털의 대규모·고처리량 워크플로우 처리 능력을 입증했다.
• debyer 도구가 워크플로우에 통합되어 자동으로 XRD 및 ND 분석이 가능해져 구조적 특성 분석 능력이 향상되었다.
• 비컴퓨팅 전문가를 위한 접근 장벽이 감소하여, 사용자들이 시스템 관리나 작업 스케줄링에 신경 쓰지 않고도 과학적 질문에 집중할 수 있게 되었다.