[論文レビュー] Portage: Bringing Hackers' Wisdom to Science

G. Amádio, Benda Xu|arXiv (Cornell University)|Oct 10, 2016

Cloud Computing and Resource Management参考文献 1被引用数 4

ひとこと要約

本論文では、Gentoo Linuxから生まれた柔軟で信頼性の高いパッケージ管理システムPortageを、Gentoo Prefixを介して改変し、HPC環境における複雑で最新のソフトウェアスタックのクロスコンパイルおよび管理を可能にする手法を提案する。ebuild、USEフラグ、パッケージスロットの活用により、複数のバージョンやビルド設定に対する細かな制御が可能となり、科学的計算分野における再現性と保守性の向上が著しく図られる。

ABSTRACT

Providing users of HPC systems with a wide variety of up to date software packages is a challenging task. Large software stacks built from source are difficult to manage, requiring powerful package management tools. The Portage package manager from Gentoo is a highly flexible tool that offers a mature solution to this otherwise daunting task. The Gentoo Prefix project develops and maintains a way of installing Gentoo systems in non-standard locations, bringing the virtues of Gentoo to other operating systems. Here we demonstrate how a Gentoo Prefix installation can be used to cross compile software packages for the Intel Xeon Phi known as Knights Corner, as well as to manage large software stacks in HPC environments.

研究の動機と目的

• システム提供パッケージが古くなっているHPC環境において、大規模で最新のソフトウェアスタックを管理する課題に対処すること。
• 従来のパッケージマネージャーが複雑な依存関係、ビルド時の設定、同じパッケージの複数バージョンを扱う際に抱える制限を克服すること。
• 特権制限のあるHPC環境におけるユーザーが、Gentoo Prefixを用いてカスタマイズ可能なソフトウェアスタックをインストール・管理できるようにすること。
• ソフトウェアパッケージの複数バージョンおよびビルド設定をネイティブに管理することで、科学的再現性を支援すること。
• オープンソースコミュニティの蓄積された知見を活用し、科学的計算分野におけるソフトウェアの持続可能性と保守性を向上させること。

提案手法

• ビルド手順、依存関係、設定オプションを定義するebuildを備えたソースベースのパッケージマネージャーであるPortageを活用する。
• USEフラグを用いて、再ビルドなしでコンパイルオプション（例：MPIの有効化、Pythonバージョンの選択）をカスタマイズする。
• パッケージスロットを用いて、同じパッケージの複数バージョン（例：異なるコンパイラやBLASライブラリ）を同時にシステム上にインストール可能にする。
• Gentoo Prefixを活用し、非標準的でユーザーが書き込み可能な場所に完全なGentoo環境をインストールすることで、ルート権限なしでのソフトウェア管理を可能にする。
• ebuildおよびオーバーレイを通じてパッチを適用し、HPC固有のニーズに合わせたカスタマイズを可能にする。
• emergeコマンドラインツールを用いて依存関係を解決し、正しいビルド順序を保証し、設定変更時に影響を受けるパッケージのみを再ビルドする。

実験結果

リサーチクエスチョン

• RQ1 どのような方法でパッケージマネージャーが、多様なビルド設定を持つHPC環境における複雑なマルチバージョンソフトウェアスタックを効果的に管理できるか？
• RQ2 Portageのようなソースベースのパッケージマネージャーは、科学的計算分野におけるソフトウェアの再現性と保守性をどの程度向上できるか？
• RQ3 Gentoo Prefixは、ルートアクセスなしで安全にカスタマイズ可能なソフトウェアスタックをHPCシステムにインストール可能にするか？
• RQ4 科学的ソフトウェア管理において、複数バージョンおよびビルド設定のデフォルトでのサポートが、実際の利点と妥当なトレードオフをもたらすか？
• RQ5 オープンソース開発者の集積された経験（ハッカーの知見）を活用することで、科学的ソフトウェアデプロイメントにおける長年の課題をどのように解決できるか？

主な発見

• Portageは、ビルド設定や依存関係に対する細かな制御が可能であり、HPC環境における大規模で複雑なソフトウェアスタックの管理を可能にする。
• USEフラグの活用により、特定の命令セットの有効化や不要なコンponentの無効化など、パフォーマンスや互換性に最適化されたソフトウェアビルドが可能になる。
• パッケージスロットにより、同じパッケージの複数バージョン（例：異なるMPI実装やPythonバージョン）を同時にインストール可能となり、再現性と互換性を支援する。
• Gentoo Prefixにより、非標準的でユーザーが書き込み可能なパスに完全なGentoo環境をインストール可能となり、ルート権限なしでのソフトウェア管理が実現される。
• Intel Xeon Phi（Knights Corner）のような特殊なハードウェア向けのクロスコンパイルもサポートしており、HPCワークロードへの適応性が裏付けられる。
• 数人の開発者がメンテナンスするのではなく、数百人の開発者が関与する成熟したPortageの信頼性と洗練度は、科学的ソフトウェア管理のための堅牢で信頼できるソリューションを提供し、不整合なソフトウェアビルドの混乱を低減する。