[論文レビュー] Real-Time XFEL Data Analysis at SLAC and NERSC: a Trial Run of Nascent Exascale Experimental Data Analysis

Johannes Blaschke, Aaron S. Brewster+8 more|PubMed|Jun 22, 2021

Enzyme Structure and Function参考文献 11被引用数 5

ひとこと要約

この論文は、SLACのLCLS施設とNERSCのCoriスーパーコンピュータをスーパーファシリティワークロードで統合することにより、X線自由電子レーザー（XFEL）実験におけるリアルタイムでエクサスケール対応のデータ分析を実証した。自動化されたデータ転送とDockerコンテナ内でのCCTBXソフトウェアスタックの利用により、チームは最小10分で完全な分子再構築を達成した。これはデータ取得レートと一致しており、高スループットなXFEL研究におけるリアルタイムの実験意思決定を可能にした。

ABSTRACT

X-ray scattering experiments using Free Electron Lasers (XFELs) are a powerful tool to determine the molecular structure and function of unknown samples (such as COVID-19 viral proteins). XFEL experiments are a challenge to computing in two ways: i) due to the high cost of running XFELs, a fast turnaround time from data acquisition to data analysis is essential to make informed decisions on experimental protocols; ii) data collection rates are growing exponentially, requiring new scalable algorithms. Here we report our experiences analyzing data from two experiments at the Linac Coherent Light Source (LCLS) during September 2020. Raw data were analyzed on NERSC's Cori XC40 system, using the Superfacility paradigm: our workflow automatically moves raw data between LCLS and NERSC, where it is analyzed using the software package CCTBX. We achieved real time data analysis with a turnaround time from data acquisition to full molecular reconstruction in as little as 10 min -- sufficient time for the experiment's operators to make informed decisions. By hosting the data analysis on Cori, and by automating LCLS-NERSC interoperability, we achieved a data analysis rate which matches the data acquisition rate. Completing data analysis with 10 mins is a first for XFEL experiments and an important milestone if we are to keep up with data collection trends.

研究の動機と目的

• 2025年までに現在のレートを400倍以上上回る超高レートXFELデータの解析という、急速に拡大する計算課題に対処すること。
• データ取得と同期させたデータ解析を実現することで、実験プロトコルに関するタイムリーな意思決定を可能にするリアルタイムフィードバックをXFEL実験に提供すること。
• 全国のユーザーファシリティ間で分散HPCベースの解析に適したスケーラブルで自動化され、耐障害性のあるワークロードを構築・検証すること。
• 実験施設とHPCセンターを統合するスーパーファシリティモデルの実用可能性を示し、高データレート科学における持続的で緊急対応可能なコンピューティングを実現すること。
• リアルタイムのシリアルフェムトセコンドクリスタルグラフィー解析のための一般化可能で、ポータブルかつプロダクション運用に耐えるパイプラインを構築すること。

提案手法

• ESNetネットワークを介したXRootDを用いた、LCLSの回転ディスクストレージからNERSCのスクラッチファイルシステムへの自動データ転送（最大2.6 GB/s）。
• Cori XC40コンピュートノードにShifterコンテナでCCTBXソフトウェアをデプロイし、再現可能で隔離され、ポータブルな解析ワークロードを実現。
• NERSCのDataWarpバーストバッファを高速キャッシュとして活用し、I/O集約型のデータ処理を加速。
• NERSCにホストされたMySQLデータベースを介したジョブオーケストレーションにより、LCLSおよびNERSCの両方のユーザーがリアルタイムでモニタリングとパrameterイテレーションを可能に。
• システムの健全性を監視し、ジョブスケジューリングを管理し、HPCリソース間でのデータ移動とジョブ実行を自動化するためのScience Facility（SF）APIの統合。
• 複雑なマルチステージ解析パイプライン（インデキシング、マージ、再構築など）を管理するAirflowベースの有向非巡回グラフ（DAG）の実装。

実験結果

リサーチクエスチョン

• RQ1 XFEL実験において、スケールアップしたリアルタイムデータ解析が、データ取得レートと同等のターンアラウンド時間で達成可能か？
• RQ2 国立ユーザーファシリティ（LCLS）とハイパフォーマンスコンピューティングセンター（NERSC）の間で、堅牢で自動化され、フェイルセーフなワークロードをどのように確立できるか？
• RQ3 HPCリソースをどのように動的にかつ自動的にオーケストレーションすることで、実験科学における緊急性の高い高スループットデータ解析を処理できるか？
• RQ4 将来のエクサスケールXFELファシリティにおける持続的でスケーラブルかつポータブルなリアルタイム解析を可能にする、アーキテクチャ的およびソフトウェア的パターンは何か？
• RQ5 システムの健全性とリソース利用可能性をどのようにプログラミング可能に監視し、リアルタイムで自動データおよびジョブルーティングを誘導できるか？

主な発見

• データ取得から完全な分子再構築までのピークターンアラウンドタイムが10分に達し、実験意思決定のためのリアルタイムフィードバックが可能になった。
• データ解析レートは1秒間に120枚の画像というデータ取得レートと一致しており、15日間で130 TBの生データ（2800万枚の画像）を処理し、1日あたり15 TBの処理量を達成した。
• スーパーファシリティワークロードにより、LCLSとNERSC間でのデータ移動と解析が自動化され、人的作業の削減と運用効率の向上が達成された。
• SF APIの使用により、動的で自動化されたジョブスケジューリングと健全性監視が可能となり、/status/エンドポイントによるステータスチェックと、/storageを介した自動データ転送が実現した。
• 新しいシステム、特にNERSCのPerlmutterスーパーコンピュータに対しても、ワークロードが完全にポータブルであり、CCTBX.xfelがPerlmutterのCPUノードに正常にデプロイされた。
• AirflowベースのDAGパイプラインにより、複雑なマルチステップ解析ワークロードの信頼性の高いステートフル実行が可能になり、リアルタイムでの進捗追跡とユーザーへの結果配信が実現した。