[논문 리뷰] Extending and Applying Automated HERMES Software Publication Workflows

Sophie Kernchen, Michael Meinel외 4명|arXiv (Cornell University)|2024. 05. 31.

Scientific Computing and Data Management인용 수 1

한 줄 요약

이 논문은 HERMES 소프트웨어 출판 워크플로우의 확장 및 적용을 제시한다. HERMES는 영구 식별자(예: DOI)를 사용하여 FAIR 원칙에 부합하는 풍부한 메타데이터를 갖춘 연구 소프트웨어를 자동으로 출판하는 자동화된 시스템이다. 다양한 메타데이터 소스와 인프라를 위한 커스터마이제이션을 가능하게 하는 플러그인 아키텍처를 도입하여 사례 연구를 통해 실현 가능성을 입증하고, 전문 지식이 없는 개발자에게도 확장성이 있음을 보여준다.

ABSTRACT

Research software is an important output of research and must be published according to the FAIR Principles for Research Software. This can be achieved by publishing software with metadata under a persistent identifier. HERMES is a tool that leverages continuous integration to automate the publication of software with rich metadata. In this work, we describe the HERMES workflow itself, and how to extend it to meet the needs of specific research software metadata or infrastructure. We introduce the HERMES plugin architecture and provide the example of creating a new HERMES plugin that harvests metadata from a metadata source in source code repositories. We show how to use HERMES as an end user, both via the command line interface, and as a step in a continuous integration pipeline. Finally, we report three informal case studies whose results provide a preliminary evaluation of the feasibility and applicability of HERMES workflows, and the extensibility of the hermes software package.

연구 동기 및 목표

• 연구 소프트웨어 출판에서 수동이고 실수를 유발하기 쉬운 소프트웨어 메타데이터 정제 문제를 해결하기 위해.
• 영구 식별자(예: DOI)를 사용하여 자동으로 FAIR 준수 소프트웨어를 출판할 수 있도록 하기 위해.
• HERMES 워크플로우에 커스터마이제이션 가능한 메타데이터 수확 및 대상 배포를 위한 플러그인 아키텍처를 도입하기 위해.
• 실제 환경에서 HERMES 워크플로우와 hermes 소프트웨어 패키지의 실현 가능성, 사용성, 확장성 평가하기 위해.
• 다양한 이해관계자(예: RSE, 개발자, 인프라 제공자 포함)를 위한 지원을 향상시키기 위해 문서화 및 구성의 격차를 규명하기 위해.

제안 방법

• HERMES는 다섯 단계의 CI 파이프라인(수확, 처리, 정제, 배포, 후처리)을 통해 소프트웨어 출판을 자동화한다.
• hermes 파이썬 패키지는 워크플로우 단계를 구현하고 다양한 메타데이터 소스 및 저장소와의 통합을 위한 모듈식 API를 제공한다.
• 플러그인 아키텍처를 통해 개발자들이 소스 코드 저장소에서 메타데이터를 수확하는 데 특화된 커스텀 플러그인을 만들 수 있도록 한다. 이는 구조화된(예: Citation File Format) 및 비구조화된 소스(예: README 파일)를 포함한다.
• 워크플로우는 GitHub Actions 및 GitLab CI와 같은 CI 시스템 내에서 구성되며, 제3자 서비스에 의존하지 않는 푸시 기반 자동화를 가능하게 한다.
• 저자는 라이브 코딩 워크숍, 실제 저장소에 대한 비공식 사례 연구, 그리고 전문 지식이 없는 개발자가 참여한 플러그인 개발 사례를 통해 시스템을 평가한다.
• hermes 패키지는 CLI 사용과 CI 파이프라인 통합 모두를 지원하며, 사용자 입문 장벽을 낮추기 위해 문서와 템플릿을 제공한다.

실험 결과

연구 질문

• RQ1 Q1: HERMES 워크플로우는 사용자가 풍부한 메타데이터를 갖춘 소프트웨어를 얼마나 효과적으로 출판할 수 있으며, 주요 구현 과제는 무엇인가?
• RQ2 Q2: hermes 패키지와 그 문서화는 HERMES 경험 없이도 새로운 플러그인을 통해 확장하려는 개발자들을 얼마나 효과적으로 지원하는가?
• RQ3 Q3: hermes 패키지와 문서화는 연구 소프트웨어 엔지니어, 개발자, 인프라 제공자와 같은 다양한 이해관계자의 요구를 충족시키기 위해 어떻게 개선될 수 있는가?

주요 결과

• HERMES 워크플로우는 실제 연구 소프트웨어 저장소를 대상으로 한 사례 연구를 통해 FAIR 준수 소프트웨어 출판을 자동화하는 데 실현 가능하고 적용 가능함을 입증하였다.
• hermes 패키지는 전문 지식이 없는 개발자도 소스 코드 저장소에서 메타데이터를 수확하는 데 특화된 새로운 플러그인을 성공적으로 생성하고 통합할 수 있도록 하여 강력한 확장성을 보여주었다.
• 플러그인 개발 과정에서 현재 API는 작동 가능하지만, CodeMeta 준수 연결 데이터셋을 다루는 전용 라이브러리가 부족하여 구현 복잡성이 증가함을 확인하였다.
• 사례 연구에서 구성 관리 및 기본 워크플로우 패턴이 사용성에 핵심적임을 밝혀내어, 더 나은 기본 설정 구성이 필요함을 시사하였다.
• 프로젝트의 문서화와 템플릿은 신규 사용자 온보딩에 효과적이었지만, 다양한 인프라 생태계를 지원하기 위해 개선이 필요함을 확인하였다.
• 다양한 이해관계자, 특히 연구 소프트웨어 인프라 제공자의 참여가 향후 평가에 필수적임을 규명하였으며, 현재 연구는 범위와 표본 수가 제한되어 있어 이를 고려해야 한다.