[論文レビュー] FirecREST: RESTful API on Cray XC systems

Felipe A. Cruz, Maxime Martinasso|arXiv (Cornell University)|Nov 29, 2019

Scientific Computing and Data Management参考文献 8被引用数 4

ひとこと要約

FirecREST は、スイス国立スーパーコンputィングセンター（CSCS）のCray XCシステム上で、ジョブの送信、モニタリング、データ転送などのHPCリソースへのプログラム的アクセスおよび管理を可能にするRESTful APIインfrastrucureです。標準化された状態なしのRESTエンドポイントを介してコアHPCサービスを公開し、統合認証を備えることで、科学的プラットフォームの安全な統合を簡素化するとともに、専用のタスク管理マイクロサービスを介して非同期ワークフローをサポートします。

ABSTRACT

As science gateways are becoming an increasingly popular digital interface for scientific communities, it is also becoming increasingly important for High-Performance Computing centers to provide a modern Web-enabled APIs. With such interface, science gateways can easily integrate access to HPC center resources. This work presents the FirecREST API, a RESTful Web API infrastructure that allows scientific communities to access the various integrated resources and services available from the Cray XC systems at the Swiss National Supercomputing Centre. FirecREST requirements are derived from use cases described in this work.

研究の動機と目的

• 国立スーパーコンputィングセンターにおける科学ゲートウェイとHPCリソースを統合するための標準的で安全かつ相互運用可能なWeb APIの需要に対応すること。
• 科学コミュニティがモダンでRESTfulなインターフェースを通じてCray XCシステム上のHPCワークロードおよびデータにアクセス・管理できるようにすること。
• HPCアクセスのための単一で再利用可能なAPIレイヤーを提供することで、ゲートウェイ開発者の複雑さと保守負担を軽減すること。
• タスク追跡を備えたマイクロサービスアーキテクチャに基づくAPIを用いて、非同期処理およびスケーラブルなサービス構成をサポートすること。
• CSCSの既存の認証および承認インfrastrucureと統合することで、現代の認証基準との互換性を確保すること。

提案手法

• FirecREST は、エンドポイント、操作、パラメータ、認証方法を定義する OpenAPI 規格を用いて、マイクロサービスアーキテクチャに基づくRESTful APIを実装しています。
• コアサービスにはジョブ管理（送信、監視）、ファイルシステム間のデータ転送、非同期処理のためのタスク追跡が含まれます。
• CSCSの集中型認証および承認システムと統合されており、外部IDプロバイダーによる安全なアクセスをサポートしています。
• 各マイクロサービス（例：ジョブ、ストレージ、タスク）は、状態なしの操作を備えた標準化されたエンドポイントを公開しており、HPCリソースへのモジュラでスケーラブルなアクセスを可能にしています。
• 非同期処理は、進行状況を追跡し、クライアントがステータス更新をポーリングできる専用のタスクマイクロサービスによって管理されています。
• システムは汎用的かつポータブルに設計されており、バッチスケジューラーやストレージ技術とのインターフェースにより、非Cray HPCシステムへの拡張が可能です。

実験結果

リサーチクエスチョン

• RQ1 Cray XCシステム上のHPCリソースに科学ゲートウェイがアクセスできるようにするため、標準的で安全かつスケーラブルなRESTful APIをどのように設計できるか？
• RQ2 HPC環境におけるWeb APIを通じたジョブ送信、監視、データ転送をサポートするには、どのようなアーキテクチャパターンとサービス抽象化が必要か？
• RQ3 RESTful HPC APIに認証および承認を効果的に統合するには、マルチテナントおよび外部IDプロバイダーへのアクセスをどのように実現できるか？
• RQ4 状態なしのAPI設計において、長時間実行されるデータ転送やジョブ実行などの非同期ワークフローをサポートするには、どのようなメカニズムが必要か？
• RQ5 特定のハードウェアやソフトウェアスタックから独立させることで、一般的なHPC APIをどれだけ再利用可能にできるか？

主な発見

• FirecREST は、一貫性があり状態なしのエンドポイントを備えた標準化されたRESTful APIを通じて、コアHPC機能（ジョブ送信、監視、データ転送）を効果的に公開しています。
• CSCSの既存の認証インfrastrucureとの統合により、ユーザーのワークフローに変更を加えずに、安全でIDに依存したHPCリソースへのアクセスが可能になっています。
• 専用のタスクマイクロサービスの活用により、データ転送などの非同期処理の進行状況を効果的に追跡でき、クライアントがブロッキングせずに進行状況を監視できるようになっています。
• OpenAPI仕様により、機械可読のドキュメンテーションが可能になり、自動生成されたクライアントライブラリや、ゲートウェイプラットフォーム間の相互運用性が向上しています。
• アーキテクチャは、データサイエンス向けのRENKU、AiiDAを備えたMaterials Cloud、およびJupyterベースのインタラクティブサービスなど、多数のユースケースをサポートしており、広範な適用可能性を示しています。
• FirecREST は拡張可能で汎用的であるように設計されており、今後のノード予約やデータ変換サービスのサポートが計画されており、長期的な適応性が示されています。