[論文レビュー] Portable, high-performance containers for HPC

Lucas Benedicic, Felipe A. Cruz+2 more|arXiv (Cornell University)|Apr 11, 2017

Cloud Computing and Resource Management参考文献 15被引用数 11

ひとこと要約

本論文では、HPC向けのコンテナランタイム「Shifter」の拡張を提案し、GPUアクセラレータおよび高速ネットワーキングへの直接アクセスを提供することで、スーパーコンピュータ上でコンテナ化されたアプリケーションをポータブルかつ高性能に実行可能にする。この解決策は、Docker互換のコンテナと最適化されたシステムレベル統合を通じてソフトウェアのポータビリティを維持しながら、多様なHPCシステムでネイティブに近いパフォーマンスを達成しており、I/O集約型のPythonワークロードの起動時間を大幅に短縮している。

ABSTRACT

Building and deploying software on high-end computing systems is a challenging task. High performance applications have to reliably run across multiple platforms and environments, and make use of site-specific resources while resolving complicated software-stack dependencies. Containers are a type of lightweight virtualization technology that attempt to solve this problem by packaging applications and their environments into standard units of software that are: portable, easy to build and deploy, have a small footprint, and low runtime overhead. In this work we present an extension to the container runtime of Shifter that provides containerized applications with a mechanism to access GPU accelerators and specialized networking from the host system, effectively enabling performance portability of containers across HPC resources. The presented extension makes possible to rapidly deploy high-performance software on supercomputers from containerized applications that have been developed, built, and tested in non-HPC commodity hardware, e.g. the laptop or workstation of a researcher.

研究の動機と目的

• 異なるハードウェアおよびソフトウェアスタックを有する多様なHPCシステム間で、ハイパフォーマンスな科学的アプリケーションをデプロイする課題に対処すること。
• 特にGPUアクセラレートおよびネットワーク集約型アプリケーションを対象とした、コンテナ化されたHPCワークロードのパフォーマンスポータビリティを実現すること。
• HPCクラスタ上で実行されるPythonベースの科学的アプリケーションにおける動的リンクおよびファイルシステムアクセスのオーバーヘッドを低減すること。
• 研究者がコンmodityハードウェアでアプリケーションを開発・テストし、そのままスーパーコンピュータに直接デプロイできるように、ソフトウェアデプロイメントワークフローを簡素化すること。
• Dockerおよびシステムレベル最適化を活用することで、コンテナ化を用いて高パフォーマンスを維持しながらポータビリティを確保すること。

提案手法

• ホストレベルのGPUおよび高速ネットワークインターコネクトをコンテナ化されたアプリケーションに公開するよう、Shifterコンテナランタイムを拡張すること。
• Dockerを用いてビルドされたコンテナイメージを用いることで、開発環境とHPC本番環境の間で一貫したポータブルなソフトウェア環境を確保すること。
• コンピューティングノードにコンテナイメージをローカルにマウントし、動的ライブラリロード時の繰り返しメタデータサーバリクエストを最小限に抑えること。
• Linuxカーネルのシステムコールインタフェースを活用して、コンテナ内からハードウェアリソースに低オーバーヘッドかつ高パフォーマンスでアクセスすること。
• HPCクラスタの並列ファイルシステム（例：Lustre）と統合し、Pythonの動的リンクのようなI/O集約型ワークロードのアクセスパターンを最適化すること。
• CUDAのn-bodyシミュレーションや動的リンクのオーバーヘッドを測定するPynamicを用いた、標準的なHPCワークロードを用いたベンチマークテスト。

実験結果

リサーチクエスチョン

• RQ1 GPUおよび高速ネットワークにアクセスするコンテナ化されたHPCアプリケーションは、ネイティブに近いパフォーマンスを達成できるか？
• RQ2 並列ファイルシステム上でのI/O集約型ワークロードとしてのPythonベースの科学的アプリケーションにおいて、コンテナ化が起動時間およびI/Oパフォーマンスに与える影響は何か？
• RQ3 異種のHPCシステム間で、コンテナ化されたアプリケーションがどれほどパフォーマンスポータビリティを維持できるか？
• RQ4 最適化されたファイルシステムアクセスを伴うコンテナ化デプロイによって、Pythonにおける動的リンクのオーバーヘッドは低減可能か？
• RQ5 コンmodityハードウェアで開発されたコンテナ化アプリケーションを、パフォーマンス劣化なしにスーパーコンピュータに直接デプロイすることは可能か？

主な発見

• GPU対応のShifter拡張は、CUDAのn-bodyシミュレーションで18.34 GFLOPS（ネイティブ）および18.34 GFLOPS（コンテナ化）を達成し、ネイティブに近いパフォーマンスを示した。
• Pynamicベンチマークにおいて、コンテナ化デプロイにより繰り返し発生するメタデータサーバリクエストが低減され、3,000プロセスを超えるジョブでは30％のパフォーマンス向上が達成された。
• Lustreファイルシステム上でのコンテナ化Pythonアプリケーションは、コンテナイメージ1つあたり1回のMDSリクエストで済むため、ネイティブ実行時と比較して著しく低いオーバーヘッドを示した。
• この手法により、専用ライブラリおよびハードウェアへの透明なアクセスが可能になり、コンテナがシステムライブラリのABI互換バージョンを性能損なわずロードできるようになった。
• Piz Daintおよび他のGPUアクセラレートクラスタを含むHPCシステム間で、完全なパフォーマンスポータビリティが実現され、一貫した結果が得られた。
• このソリューションにより、HPCユーザーの学習曲線とデプロイメントの複雑さが軽減され、パフォーマンスを維持したまま使いやすさと生産性が向上した。