[論文レビュー] HEP Software Foundation Community White Paper Working Group - Software Development, Deployment and Validation

B. Couturier, G. Eulisse+11 more|arXiv (Cornell University)|Dec 21, 2017

Scientific Computing and Data Management参考文献 7被引用数 5

ひとこと要約

このホワイトペーパーは、高エネルギー物理学（HEP）分野におけるソフトウェア開発、デプロイ、検証の改善を図るため、オープンソースソフトウェアコミュニティのベストプラクティスを採用する、コミュニティ全体の戦略を提言する。長期的な持続可能性と分散・多様なHEP共同作業の間での相互運用性を確保するため、中央集権的なフォーラム、標準化されたトレーニング、改善されたツールチェーン、ソフトウェア貢献の適切な評価を推進する。

ABSTRACT

The High Energy Phyiscs community has developed and needs to maintain many tens of millions of lines of code and to integrate effectively the work of thousands of developers across large collaborations. Software needs to be built, validated, and deployed across hundreds of sites. Software also has a lifetime of many years, frequently beyond that of the original developer, it must be developed with sustainability in mind. Adequate recognition of software development as a critical task in the HEP community needs to be fostered and an appropriate publication and citation strategy needs to be developed. As part of the HEP Softare Foundation's Community White Paper process a working group on Software Development, Deployment and Validation was formed to examine all of these issues, identify best practice and to formulare recommendations for the next decade. Its report is presented here.

研究の動機と目的

• 複数の機関にまたがり、ソフトウェアの熟練度にばらつきのあるチームが関与する大規模かつ分散型のソフトウェア開発における課題に対処すること。
• 開発者の在籍期間を過ぎても持続可能で、コード品質、モularity、長期的保守性を高めるベストプラクティスを推進することで、ソフトウェアの持続可能性を向上させること。
• 共有のトレーニングリソースの構築と実験間連携の促進により、知識共有を促進し、重複を削減すること。
• 標準化されたツールチェーン、パフォーマンスインストルメンテーション、メトリクス駆動開発を通じて、ソフトウェアの検証とデプロイを強化すること。
• 開発者の貢献に対して正式な評価制度を確立し、公平な評価とキャリアアップを保証すること。

提案手法

• 成功事例（例：Concurrent Forum）を模した、業界のフォーラムに類似したコミュニティフォーラムを設立し、新技術の動向を追跡し、ソフトウェア課題に関する議論を促進する。
• 標準化されたソフトウェアプロジェクトテンプレートとパッケージングソリューションの開発・広報を行い、オンボーディングの簡素化と重複の削減を図る。
• Software Carpentry、LHCb StarterKit、ALICE Juniorsなどの成功事例を基に、実験に依存しないコアトレーニングプログラムを構築する。
• 外部ソフトウェアコミュニティ（例：SciPy、SC、WSSSPE）との連携を強化し、HEPのユースケースを共有するとともに、広範なソフトウェア開発トレンドから学ぶ。
• 並列処理とシステム動作の監視を可能にする、パフォーマンス測定およびプロファイリングツールのプロトタイプを開発する。既存のツール（例：igprof）を基盤とする。
• メトリクスに基づくソフトウェア引用システムを設計し、ソフトウェア貢献の使用状況を追跡し、正式な評価を可能にする。

実験結果

リサーチクエスチョン

• RQ1 異なるスケジュール、規模、資金調達モデルを持つ実験間で、HEPコミュニティがソフトウェア開発の標準化をどのように実現できるか？
• RQ2 元の開発者が離脱した場合や、コードベースが数十年にわたる場合に、ソフトウェアの長期的持続可能性を保証するメカニズムは何か？
• RQ3 地理的に分散し、文化的に多様なHEPチーム間で、知識とベストプラクティスを効果的に共有するにはどうすればよいか？
• RQ4 スケールの大きな複雑な確率的HEPソフトウェア出力の検証を向上するためのツールとワークフローは何か？
• RQ5 キャリアの進歩と研究的信用を支援する形で、ソフトウェア貢献を正式に認識・引用する方法は何か？

主な発見

• 業界フォーラム（例：Concurrent Forum）を模したHEPソフトウェアのためのコミュニティフォーラムは、新技術の動向追跡とプロトタイプ開発の調整に不可欠である。
• 標準化されたプロジェクトテンプレートとパッケージングソリューションは、オンボーディング時間の大幅な短縮と、実験間でのコード保守性の向上に顕著な効果をもたらす。
• Software Carpentry や LHCb StarterKit を模した、実験に依存しないトレーニングプログラムは、コミュニティ全体でコアソフトウェアスキルを育成するのに効果的である。
• 外部ソフトウェアコミュニティ（例：SciPy、WSSSPE）との統合により、知識交換が促進され、現代的開発手法の採用が加速する。
• igprofの拡張版のようなパフォーマンスインストルメンテーションツールは、並列処理やHPC環境において、ソフトウェア効率の測定と向上に不可欠である。
• メトリクス駆動のソフトウェア引用システムは、貢献の正式な評価を可能にし、公平な評価とキャリアアップを支援する。