[論文レビュー] Quality and sustainability of software tools in neuroscience

Marc-Oliver Gewaltig, Robert C. Cannon|arXiv (Cornell University)|May 14, 2012

Scientific Computing and Data Management参考文献 20被引用数 3

ひとこと要約

この論文は、神経科学ソフトウェアツール36種の品質と持続可能性を評価し、成熟度、ドキュメンテーション、保守可能性における深刻なギャップを特定した。研究者、査読者、開発者によるソフトウェアの信頼性と研究準備度を向上させるための開発モデルと製品分類を提案し、実行可能なチェックリストを提供する。

ABSTRACT

In computational neuroscience, the continual need for new software tools has led to the creation of software in a disparate and ad-hoc fashion with considerable overlap but little compatibility between different tools. Much of the resulting software is made freely available, but it is not always clear that it is sufficiently mature in terms of domain coverage, validity, documentation or usability, to be useful to other researchers. Software tools for scientific use should meet certain minimal conditions of correctness, usability and reliability. For databases and tools that are made publicly available, additional criteria of maintainability and sustainability should be met. We focused on 36 neuroscience software tools and asked how the culture and practice of software development affects the validity and trustworthiness of scientific software. We identified two sets of categories: one for how software is developed, and one for the end products of such work. The development models include pet projects driven by single individuals or small groups, collaborative projects, and projects that are driven with up-front funding. The end products can be classified as proof of concept work, private tools and public tools according to their accessibility and state of readiness for scientific work. Based on our findings we suggest ways in which the current practice of software development in computational neuroscience can be improved along with checklists for developers, reviewers, and scientists to help assess the quality and research readiness of a particular piece of software.

研究の動機と目的

• 計算神経科学におけるソフトウェア開発実践が、科学的ソフトウェアの妥当性と信頼性にどのように影響するかを調査すること。
• ドキュメンテーション、使いやすさ、保守可能性を含む、ソフトウェア成熟度における一般的な欠陥を特定すること。
• 開発モデル（個人プロジェクト、共同開発、助成金支援）と最終製品タイプ（概念実証、非公開、公開）に分類することで、より良い評価が可能となるようにソフトウェアツールを分類すること。
• 開発者、査読者、科学者がソフトウェア品質と研究準備度を評価するための実用的チェックリストを提供すること。
• 構造的な開発および評価手法を通じて、神経科学ソフトウェアの持続可能性と信頼性を向上させること。

提案手法

• 異なる開発モデルと最終製品カテゴリに分類された36種の神経科学ソフトウェアツールを分析した。
• 利用可能性と準備度に基づいてツールを分類：概念実証、非公開ツール、公開ツール。
• 正しさ、使いやすさ、信頼性、保守可能性の基準を用いてソフトウェアを評価した。
• ドキュメンテーション、ドメインカバレッジ、およびツール間の互換性に関する繰り返し発生する問題を特定した。
• 開発者、査読者、科学者向けにカスタマイズされたチェックリストを提案した。
• 長期的な持続可能性と科学的信頼性を高めるためのソフトウェア開発文化の改善を提言した。

実験結果

リサーチクエスチョン

• RQ1 個人プロジェクトや助成金支援のイニシアチブなど、異なるソフトウェア開発モデルが神経科学ソフトウェアの品質と持続可能性にどのように影響するか。
• RQ2 公に利用可能な神経科学ソフトウェアツールのうち、正しさ、使いやすさ、信頼性の最低基準を満たしている割合はどの程度か。
• RQ3 既存の神経科学ソフトウェアツールにおいて、ドキュメンテーション、互換性、保守可能性の主なギャップは何か。
• RQ4 成熟度と利用可能性に基づいてソフトウェアをよりよく分類することで、研究準備度をどのように向上させられるか。
• RQ5 開発者、査読者、科学者がソフトウェア品質と持続可能性を評価するために使用できる実用的チェックリストは何か。

主な発見

• 多くの神経科学ソフトウェアツールは、互換性や重複管理が不十分なアドホックな方法で開発されており、重複と非効率を引き起こしている。
• 公に利用可能なツールの顕著な割合が、信頼できる科学的利用に十分なドキュメンテーション、使いやすさの支援、成熟度を欠いている。
• 個人プロジェクトのような開発モデルは、長期にわたり持続可能で保守不能なツールを生み出す傾向がある。
• 公開ツールは自由に利用可能であるが、長期的な保守可能性と信頼性の基準を満たしていないことが頻繁に見られる。
• 開発者、査読者、科学者向けに提案されたチェックリストは、ソフトウェア品質と研究準備度を評価するための構造的フレームワークを提供する。
• ソフトウェア開発実践の改善と標準化された評価基準の導入により、神経科学ソフトウェアの信頼性と持続可能性を顕著に向上させられる。