[論文レビュー] Extending and Applying Automated HERMES Software Publication Workflows

Sophie Kernchen, Michael Meinel+4 more|arXiv (Cornell University)|May 31, 2024

Scientific Computing and Data Management被引用数 1

ひとこと要約

本論文は、FAIR原則に準拠した永続的識別子（例：DOI）を用いて、豊富なメタデータを備えた研究ソフトウェアを自動で公開する自動化システムであるHERMESソフトウェア公開ワークフローの拡張と応用を提示する。本研究では、多様なメタデータソースおよびインfra構造に対応するカスタマイズを可能にするプラグインアーキテクチャを導入し、事例研究を通じて実現可能性を示し、非専門家開発者に対しても拡張性が保証されることを裏付けた。

ABSTRACT

Research software is an important output of research and must be published according to the FAIR Principles for Research Software. This can be achieved by publishing software with metadata under a persistent identifier. HERMES is a tool that leverages continuous integration to automate the publication of software with rich metadata. In this work, we describe the HERMES workflow itself, and how to extend it to meet the needs of specific research software metadata or infrastructure. We introduce the HERMES plugin architecture and provide the example of creating a new HERMES plugin that harvests metadata from a metadata source in source code repositories. We show how to use HERMES as an end user, both via the command line interface, and as a step in a continuous integration pipeline. Finally, we report three informal case studies whose results provide a preliminary evaluation of the feasibility and applicability of HERMES workflows, and the extensibility of the hermes software package.

研究の動機と目的

• 研究ソフトウェア公開における手動によるメタデータ管理の課題を解決すること。
• 永続的識別子（例：DOI）を用いた自動的かつFAIR準拠の研究ソフトウェア公開を可能にすること。
• HERMESワークフローにカスタムメタデータ収集およびデポジット先への対応を可能にするプラグインアーキテクチャを追加すること。
• HERMESワークフローおよびhermesソフトウェアパッケージの実世界における実現可能性、使いやすさ、拡張性を評価すること。
• ドキュメントおよび構成のギャップを特定し、RSE、開発者、インfra構築者を含む多様なステークホルダーの支援を向上させること。

提案手法

• HERMESは、収集、処理、キュ레이ション、デポジット、ポストプロセスの5段階からなるCIパイプラインを介してソフトウェア公開を自動化する。
• hermes Pythonパッケージは、ワークフローの各段階を実装し、さまざまなメタデータソースおよびリポジトリとの統合を可能にするモジュラーAPIを提供する。
• プラグインアーキテクチャにより、開発者はコードリポジトリからのメタデータ収集用のカスタムプラグインを構築可能であり、構造的（例：Citation File Format）および非構造的（例：READMEファイル）なソースをカバーする。
• ワークフローはGitHub ActionsやGitLab CIなどのCIシステム内で構成され、第三者サービスに依存しないプッシュベースの自動化を実現する。
• 著者らは、ライブコーディングワークショップ、実際のリポジトリを対象とした非公式な事例研究、非専門家開発者によるプラグイン開発事例を通じて、システムを評価した。
• hermesパッケージはCLI利用およびCIパイプライン統合をサポートしており、ドキュメントおよびテンプレートにより、導入の障壁を低くしている。

実験結果

リサーチクエスチョン

• RQ1 Q1: HERMESワークフローは、ユーザーが豊富なメタデータを備えたソフトウェアをどれほど効果的に公開できるか。また、主な実装上の課題は何か。
• RQ2 Q2: hermesパッケージおよびそのドキュメントは、HERMES経験のない開発者が新しいプラグインを介して拡張するのをどれほど効果的に支援するか。
• RQ3 Q3: hermesパッケージおよびそのドキュメントは、RSE、開発者、インfra構築者を含む多様なステークホルダーのニーズに応じて、どのように改善できるか。

主な発見

• HERMESワークフローは、実際の研究ソフトウェアリポジトリを対象とした事例研究を通じて、FAIR準拠のソフトウェア公開を自動化する上で実現可能で適用可能であることが示された。
• hermesパッケージにより、非専門家開発者も、コードリポジトリからのメタデータ収集用の新しいプラグインを成功裏に作成・統合できることが確認され、高い拡張性が裏付けられた。
• プラグイン開発プロセスにおいて、現在のAPIは機能的ではあるが、CodeMeta準拠のリンクデータセットを処理する専用ライブラリが欠如しているため、実装の複雑さが増していることが判明した。
• 事例研究から、構成管理およびデフォルトのワークフローパattersが使いやすさにとって極めて重要であることが明らかになった。これにより、より良いオール・オール・ザ・ボックス構成の必要性が示唆された。
• プロジェクトのドキュメントおよびテンプレートは、新規ユーザーのオンボーディングに効果的であったが、多様なインfra構造エコシステムをサポートするには改善の余地があることが判明した。
• ステークホルダーの多様性、特に研究ソフトウェアインfra構築者の参加が、今後の評価において不可欠であることが特定された。現在の研究は範囲およびサンプルサイズに制限があり、包括的な評価が不十分であった。