[論文レビュー] Nmag micromagnetic simulation tool - software engineering lessons learned

Hans Fangohr, Maximilian Albert+1 more|ePrints Soton (University of Southampton)|Jan 27, 2016

Magnetic properties of thin films参考文献 13被引用数 3

ひとこと要約

この論文は、ユーザーの使いやすさを重視してPythonで構築されたオープンソースのマイクロ磁気シミュレーションツールNmagのソフトウェア工学的実践をレビューしている。主な貢献は、柔軟でユーザーフレンドリーなインターフェースの構築、ソースからのインストールの堅牢性、包括的なドキュメンテーションとテストの重要性に関する教訓であり、今後の計算科学ソフトウェア開発プロジェクトに実用的なインサイトを提供する。

ABSTRACT

We review design and development decisions and their impact for the open source code Nmag from a software engineering in computational science point of view. We summarise lessons learned and recommendations for future computational science projects. Key lessons include that encapsulating the simulation functionality in a library of a general purpose language, here Python, provides great flexibility in using the software. The choice of Python for the top-level user interface was very well received by users from the science and engineering community. The from-source installation in which required external libraries and dependencies are compiled from a tarball was remarkably robust. In places, the code is a lot more ambitious than necessary, which introduces unnecessary complexity and reduces main- tainability. Tests distributed with the package are useful, although more unit tests and continuous integration would have been desirable. The detailed documentation, together with a tutorial for the usage of the system, was perceived as one of its main strengths by the community.

研究の動機と目的

• Nmag、すなわちマイクロ磁気シミュレーションツールの開発過程におけるソフトウェア工学的意思決定を文書化し分析すること。
• 保守性、使いやすさ、長期的持続可能性を向上させるための教訓を特定し共有すること。
• 今後のプロジェクトが適切な技術選定、テスト戦略、ドキュメンテーション実践を行うのを支援すること。
• Pythonをインターフェースに、OCamlをパフォーマンスのための言語として使用するという特定の設計選択が、ユーザーの採用と開発者貢献に与えた影響を評価すること。
• ソースからのインストール、バージョン管理、テスト、継続的インテグレーションが、ソフトウェアの堅牢性と再現可能性を確保するためにどの程度効果的であったかを評価すること。

提案手法

• 著者たちは2005年から2012年までのNmagの開発ライフサイクルを、設計および実装意思決定に焦点を当てて後向き分析を実施した。
• 科学的ユーザーが柔軟に使いやすく利用できるようにするため、Pythonをハイレベルインターフェースとして使用した点を評価した。
• パフォーマンスが求められるコンponentsにはObjective Camlを活用し、時間依存偏微分方程式を解くための有限要素法を採用した。
• 再現性と長期的安定性を確保するため、すべての依存関係（例：PETSc、HDF5、SUNDIALS）をソースからコンパイルするソースからのインストール手法を採用した。
• バージョン管理にはMercurialを使用し、コード、テスト、ドキュメンテーション、Webコンテンツの各々を別々のリポジトリに分離した。
• テストにはシステムテスト、レグRESSIONテスト、限定的なユニットテストを実施したが、継続的インテグレーションは体系的には使用しなかった。

実験結果

リサーチクエスチョン

• RQ1 Pythonをトップレベルインターフェースとして採用したことで、Nmagにおけるユーザーの採用と拡張性にどのような影響があったか？
• RQ2 コンパイル済み依存関係を含むソースからのインストールが、長期的なソフトウェア安定性を確保する上で、どのような妥協点と利点をもたらしたか？
• RQ3 既存のテストとドキュメンテーションは、ユーザーの採用とソフトウェア保守性を支援するためにどの程度効果的であったか？
• RQ4 バージョン管理とモジュール型リポジトリ構造は、複雑な科学的ソフトウェアプロジェクトの管理にどのような役割を果たしたか？
• RQ5 継続的インテグレーションとより広範なユニットテストが、開発プロセスをどの程度改善できたか？

主な発見

• Pythonをトップレベルインターフェースとして使用したことで、使いやすさと柔軟性が著しく向上し、ユーザーがシミュレーションを簡単に変更・拡張できるようになった。
• ソースからのインストールは、91 MBのtarボール、1.4 GBのディスク使用量という大がかりさはあったが、4年間でたった1回の失敗にとどまり、非常に堅牢であった。
• 包括的なドキュメンテーションとチュートリアルは、ユーザーから常に大きな強みとして挙げられ、ツールの広範な採用に貢献した。
• システムテストはインストールの検証とレグRESSIONの検出に非常に効果的であったが、より多くのユニットテストがあれば保守性がさらに向上したであろう。
• 分散型バージョン管理システム（Mercurial）を用いたバージョン管理は、協働作業と長期的プロジェクトの持続可能性を向上させた。
• 継続的インテグレーションの欠如により、リリース頻度が制限され、統合上の問題を早期に検出するのが難しくなったが、コードベース全体の安定性は保たれていた。