[논문 리뷰] Real-Time XFEL Data Analysis at SLAC and NERSC: a Trial Run of Nascent Exascale Experimental Data Analysis

Johannes Blaschke, Aaron S. Brewster외 8명|PubMed|2021. 06. 22.

Enzyme Structure and Function참고 문헌 11인용 수 5

한 줄 요약

이 논문은 슈퍼설비 워크플로우를 통해 SLAC의 LCLS 시설과 NERSC의 Cori 슈퍼컴퓨터를 통합함으로써 X선 자유전자 레이저(XFEL) 실험에 대한 실시간, 엑사스케일 대응 데이터 분석을 구현한다. 자동화된 데이터 전송과 도커 컨테이너 내 CCTBX 소프트웨어 스택을 활용하여 팀은 최소 10분 내로 전체 분자 재구성을 달성했으며, 이는 데이터 수집 속도와 동일하여 고속도 XFEL 연구에서 실시간 실험 결정을 가능하게 한다.

ABSTRACT

X-ray scattering experiments using Free Electron Lasers (XFELs) are a powerful tool to determine the molecular structure and function of unknown samples (such as COVID-19 viral proteins). XFEL experiments are a challenge to computing in two ways: i) due to the high cost of running XFELs, a fast turnaround time from data acquisition to data analysis is essential to make informed decisions on experimental protocols; ii) data collection rates are growing exponentially, requiring new scalable algorithms. Here we report our experiences analyzing data from two experiments at the Linac Coherent Light Source (LCLS) during September 2020. Raw data were analyzed on NERSC's Cori XC40 system, using the Superfacility paradigm: our workflow automatically moves raw data between LCLS and NERSC, where it is analyzed using the software package CCTBX. We achieved real time data analysis with a turnaround time from data acquisition to full molecular reconstruction in as little as 10 min -- sufficient time for the experiment's operators to make informed decisions. By hosting the data analysis on Cori, and by automating LCLS-NERSC interoperability, we achieved a data analysis rate which matches the data acquisition rate. Completing data analysis with 10 mins is a first for XFEL experiments and an important milestone if we are to keep up with data collection trends.

연구 동기 및 목표

• 2025년까지 데이터 수집 속도가 현재보다 400배 이상 빨라질 것으로 예상되는 초고속 XFEL 데이터 분석의 증가하는 계산적 과제를 해결하기 위해.
• 데이터 수집과 동시에 데이터 분석을 동기화하여 XFEL 실험 중 실시간 피드백을 가능하게 하고, 실험 프rotocol에 대한 시의적절한 결정을 보장하기 위해.
• 국가 사용자 시설 간 분산 HPC 기반 분석을 위한 확장 가능하고 자동화되며 내구성이 있는 워크플로우를 개발하고 검증하기 위해.
• 실험 시설과 HPC 센터를 통합하는 슈퍼설비 모델을 활용하여, 고속도 데이터 과학 분야에서 지속 가능한 긴급 컴퓨팅을 실현할 수 있는지의 타당성을 입증하기 위해.
• 실시간 시리얼 펌토세컨드 크리스탈로그래피 데이터 분석을 위한 일반화 가능하고 이식 가능하며 생산 환경에서 사용 가능한 파이프라인을 구축하기 위해.

제안 방법

• ESNet 네트워크를 통해 XRootD를 사용하여 LCLS의 스피닝 디스크 스토리지에서 NERSC의 스크래치 파일 시스템으로 최대 2.6 GB/s 속도로 자동 데이터 전송.
• Cori XC40 컴퓨팅 노드에 Shifter 컨테이너 내 CCTBX 소프트웨어를 구축하여 재현 가능하고 고립되며 이식 가능한 분석 워크플로우를 구현.
• NERSC의 DataWarp 버스트 버퍼를 고속 캐시로 활용하여 I/O 집약적인 데이터 처리 속도를 향상.
• NERSC에 호스팅된 MySQL 데이터베이스를 통해 분석 작업을 오케스트레이션하여, LCLS 및 NERSC의 사용자가 실시간으로 모니터링하고 파rameter를 반복 조정할 수 있도록 함.
• 시스템 상태 모니터링, 작업 스케줄링, HPC 자원 간의 자동 데이터 이동 및 작업 실행을 가능하게 하기 위해 Science Facility(SF) API 통합.
• 색인, 병합, 재구성 단계를 포함한 복잡한 다단계 분석 워크플로우를 관리하기 위해 Airflow 기반 방향성 비순환 그래프(DAG) 구현.

실험 결과

연구 질문

• RQ1 XFEL 실험에 대해 대규모로 실시간 데이터 분석을 달성할 수 있는가? 특히 데이터 수집 속도와 동일한 전환 시간이 확보되는가?
• RQ2 국가 사용자 시설(LCLS)과 고성능 컴퓨팅 센터(NECRS) 간에 강력하고 자동화되며 장애에 강건한 워크플로우를 어떻게 확립할 수 있는가?
• RQ3 어떻게 HPC 자원을 동적으로 자동으로 조율하여 실험 과학 분야의 긴급하고 고속도 데이터 분석을 처리할 수 있는가?
• RQ4 미래의 엑사스케일 XFEL 시설을 위한 지속 가능하고 확장 가능하며 이식 가능한 실시간 분석을 가능하게 하는 아키텍처 및 소프트웨어 패턴은 무엇인가?
• RQ5 시스템 상태와 자원 가용성을 프로그래밍 방식으로 모니터링하여 실시간으로 자동 데이터 및 작업 라우팅을 이끌어내는 데 어떻게 활용할 수 있는가?

주요 결과

• 팀은 데이터 수집에서 전체 분자 재구성까지 최대 10분의 피크 전환 시간을 달성하여 실험 결정을 위한 실시간 피드백을 가능하게 했다.
• 데이터 분석 속도는 초당 120장의 이미지라는 데이터 수집 속도와 일치했으며, 15TB의 데이터를 매일 처리하고 총 130TB의 원시 데이터(2800만 장의 이미지)를 처리했다.
• 슈퍼설비 워크플로우가 LCLS와 NERSC 간의 자동 데이터 이동 및 분석을 성공적으로 자동화하여 수동 간섭을 줄이고 운영 효율성을 높였다.
• SF API의 사용으로 동적이고 자동화된 작업 스케줄링 및 상태 모니터링이 가능해졌으며, /status/ 엔드포인트를 통한 상태 점검과 /storage를 통한 자동 데이터 전송이 구현되었다.
• NERSC의 Perlmutter 슈퍼컴퓨터를 포함한 새로운 시스템으로도 워크플로우가 완전히 이식 가능했으며, CCTBX.xfel이 Perlmutter의 CPU 노드에 성공적으로 배포되었다.
• Airflow 기반의 DAG 파이프라인은 복잡한 다단계 분석 워크플로우의 신뢰성 있는 상태 기반 실행을 가능하게 했고, 실시간 진행 상황 추적 및 사용자에게 결과 제공을 지원했다.