[論文レビュー] Docker-Enabled Build and Execution Environment (BEE): an Encapsulated Environment Enabling HPC Applications Running Everywhere

Jieyang Chen, Qiang Guan+6 more|arXiv (Cornell University)|Dec 19, 2017

Cloud Computing and Resource Management参考文献 16被引用数 5

ひとこと要約

本論文は、システムレベルの設定や特別なソフトウェアを必要とせず、多様なHPCプラットフォーム間でポータブルで再現可能なビルドおよび実行を可能にする、Docker対応のビルド・エグゼキューション環境（BEE）を提案する。BEE-VMバックエンドを用いてアプリケーション環境をカプセル化することで、異なるHPCシステム間での移行を容易にし、高いパフォーマンスを維持する。

ABSTRACT

Variations in High Performance Computing (HPC) system software configurations mean that applications are typically configured and built for specific HPC environments. Building applications can require a significant investment of time and effort for application users and requires application users to have additional technical knowledge. Container technologies like Docker bring great benefits to the application development, build and deployment processes. While much cloud computing infrastructure is already designed to support Docker, little work has been done to support production Docker deployment on HPC systems. In this work, we propose a Docker-enabled Build and Execution Environment (BEE) for HPC systems and detail a standard backend for BEE using virtual machines, the BEE-VM. This brings many of the benefits of Docker to existing HPC machines in user-space without the requirement of specialized pre-installed software and with no system administrator configuration. We show that current HPC application can be easily configured to run within BEE, eliminating the need to reconfigure and rebuild applications for different systems while preserving comparable performance.

研究の動機と目的

• 異なるシステムのソフトウェア構成の差異によるHPCアプリケーションのポータビリティの課題に対処すること。
• 異なるHPC環境間でのHPCアプリケーションのビルドおよびデプロイに要する時間と技術的熟練度を低減すること。
• 現在ネイティブサポートが欠如しているHPCシステムにおいて、本格的なDockerデプロイメントを可能にすること。
• システム管理者の関与や事前インストールされたコンテナーソフトウェアを必要としないユーザー空間ソリューションを提供すること。

提案手法

• Dockerコンテナを仮想マシン内で実行するBEE-VMバックエンドの設計により、アプリケーション環境を隔離・カプセル化すること。
• 既存のHPCシステム上で、仮想マシンを標準バックエンドとして使用し、ユーザー空間にDockerコンテナをデプロイすること。
• コンテナ内でHPCアプリケーションのビルドおよび実行フェーズをサポートするBEE環境の構成。
• システムレベルのパフォーマンス特性を維持することで、既存のHPCアプリケーションとの互換性を確保すること。
• コンテナ化によるシステム固有の依存関係の抽象化により、異種HPCプラットフォーム間でのアプリケーションポータビリティを実現すること。
• 下位のHPCインfra構造を変更せずに、ユーザーが一貫した環境でアプリケーションをビルドおよび実行できるようにすること。

実験結果

リサーチクエスチョン

• RQ1 ネイティブDockerサポートを欠く既存のHPCシステムに、Dockerコンテナ化を効果的に統合する方法は何か？
• RQ2 多様なHPC環境間でポータブルなHPCアプリケーションのビルドと実行を実現するためのアーキテクチャ的アプローチは何か？
• RQ3 VMバックエンドのDocker環境は、ネイティブHPC実行と同等の高いパフォーマンスを維持できるか？
• RQ4 BEE-VMがアプリケーションの再現可能性とポータビリティを確保するために提供する抽象化レベルと隔離性はどの程度か？
• RQ5 システム管理者による設定や特権アクセスを必要とせず、ユーザー空間にどのようにデプロイできるか？

主な発見

• BEE-VMにより、再構成を要せず、異なるHPCシステム間で一貫性がありポータブルな環境でHPCアプリケーションのビルドと実行が可能になる。
• 本アプローチにより、アプリケーションユーザーが各ターゲットHPC環境向けに再コンパイルや再構成を行う必要がなくなる。
• BEE環境内でのHPCアプリケーションのパフォーマンスはネイティブ実行と同等であり、計算効率が維持される。
• ソリューションは完全にユーザー空間で動作し、システムレベルの変更や特権アクセスを必要としない。
• BEE-VMバックエンドは、HPCシステム上でのDockerベースワークロードのデプロイに向けた標準的でスケーラブルな基盤を提供する。
• BEEにおけるコンテナ化されたアプリケーションは再現可能性と隔離性を維持しており、異種HPCインfraストラクチャ間でのポータビリティと信頼性が向上する。