[論文レビュー] A Proposal for the Measurement and Documentation of Research Software Sustainability in Interactive Metadata Repositories

Stephan Druskat|arXiv (Cornell University)|Aug 16, 2016

Big Data Technologies and Applications参考文献 7被引用数 6

ひとこと要約

本稿では、ソフトウェアメタデータを集約・分析して定量的持続可能性指標を算出することで、研究用ソフトウェアの持続可能性を測定・文書化するインタラクティブメタデータレポジトリ（IMR）を提案する。ハード、セミハード、ソフト指標を統合することで、再現可能でインタラクティブなソフトウェアの長寿命化、保守性、適応可能性の評価が可能となり、ソフトウェア管理計画の実施を支援するとともに、持続可能な研究用ソフトウェアの発見を向上させる。

ABSTRACT

This paper proposes an interactive repository type for research software metadata which measures and documents software sustainability by accumulating metadata, and computing sustainability metrics over them. Such a repository would help to overcome technical barriers to software sustainability by furthering the discovery and identification of sustainable software, thereby also facilitating documentation of research software within the framework of software management plans.

研究の動機と目的

• 持続可能な研究用ソフトウェアの発見および同定における技術的障壁に対処すること。
• 集約されたメタデータを通じてソフトウェア持続可能性を測定・文書化するインタラクティブメタデータレポジトリ（IMR）を提唱すること。
• 持続可能性を評価する構造的で再現可能な方法を提供することで、ソフトウェア管理計画（SMPs）の実施を支援すること。
• 長寿命化と進化を焦点とした目的ベースの定義を用いて「ソフトウェア持続可能性」を実務的に定義すること。
• メタデータの検証、ゲーム化、信頼性の向上のためのユーザー相互作用を可能にすること。

提案手法

• ソフトウェアの持続可能性に関連するメタデータ（ソースコード、ライセンス、ドキュメンテーション、コミュニティ活動など）を蓄積すること。
• 3つの持続可能性の目標を定義する：存在、生産的運用、さらなる開発および適応の可能性。
• 3種類の指標を算出する：「ハード」（客観的かつ定量的データ、例：オープンソース状態）、「セミハード」（客観的だが定量的でないもの、例：プログラミング言語の選択）、「ソフト」（主観的、例：ユーザー評価によるUIの直感性）。
• GitHub や Open Hub などのプラットフォームのAPIを活用してメタデータを収集し、入力内容を検証すること。
• 機械可読性と再現可能性を確保するため、メタデータを構造化された形式（例：JSON や XML）で保存すること。
• 投票、評価、貢献メカニズムを通じてユーザーの相互作用を可能にし、ソフト指標の精緻化とデータ不具合の検出を図ること。

実験結果

リサーチクエスチョン

• RQ1 研究用ソフトウェアの発見および評価を支援する形で、ソフトウェア持続可能性をどのように実務的に定義・測定できるか。
• RQ2 研究用ソフトウェアの長期的持続可能性を評価する上で、最も有益なメタデータの種別は何か。
• RQ3 ハード、セミハード、ソフト指標をどのように統合することで、信頼性が高く再現可能でインタラクティブな持続可能性評価を実現できるか。
• RQ4 インタラクティブメタデータレポジトリは、ソフトウェア管理計画（SMPs）の実施をどのように支援できるか。
• RQ5 ユーザーの貢献およびゲーム化は、実際の運用において持続可能性指標の信頼性と採用をどのように向上できるか。

主な発見

• 提案されたIMRは、存在、生産的運用、適応可能性の3つのコアな持続可能性目標に基づく、構造的で階層的な指標システムを通じてソフトウェア持続可能性の測定を可能にする。
• ハード指標—オープンソースライセンスなどの客観的かつ定量的メタデータに基づくもの—は再現可能性と操作への耐性を確保する。
• セミハード指標—特定のプログラミング言語の使用など、客観的に測定可能だが文脈依存性のある特徴に基づくもの—は、洗練された持続可能性評価を可能にする。
• ユーザー評価や定性的な入力に基づくソフト指標は、持続可能性スコアの解釈可能性を高め、コミュニティ主導の検証を支援する。
• 投票、評価、ゲーム化などのインタラクティブ機能は、ユーザーの関与を高め、ソフトウェア作成者が正確なメタデータを提出・維持するインcentiveを提供する。
• GitHub や Open Hub、Zenodo などの既存プラットフォームからのメタデータ統合により、スケーラブルかつ自動化されたデータ収集が実現できる。