[논문 리뷰] Science-Software Linkage: The Challenges of Traceability between Scientific Knowledge and Software Artifacts

Hideaki Hata, Jin Guo외 2명|arXiv (Cornell University)|2021. 04. 13.

Scientific Computing and Data Management참고 문헌 10인용 수 12

한 줄 요약

이 논문은 과학적 연구 논문과 그에 관련된 소프트웨어 자료 간의 추적 가능성 문제를 조사하며, 링크 생성, 식별, 유지 관리의 격차를 밝혀낸다. 깃허브 레포지터리와 코드 주석에 대한 실증 연구를 통해 링크가 존재하지만, 대부분이 일시적인 성격을 띠며 세밀도가 부족하고 링크 부패(link rot) 문제를 겪고 있음을 확인한다. 이는 재현 가능성과 과학 및 소프트웨어 공학 분야의 지식 전이를 향상시키기 위해 표준화되고 이원적이고 지속 가능한 링크 메커니즘의 필요성을 강조한다.

ABSTRACT

Although computer science papers are often accompanied by software artifacts, connecting research papers to their software artifacts and vice versa is not always trivial. First of all, there is a lack of well-accepted standards for how such links should be provided. Furthermore, the provided links, if any, often become outdated: they are affected by link rot when pre-prints are removed, when repositories are migrated, or when papers and repositories evolve independently. In this paper, we summarize the state of the practice of linking research papers and associated source code, highlighting the recent efforts towards creating and maintaining such links. We also report on the results of several empirical studies focusing on the relationship between scientific papers and associated software artifacts, and we outline challenges related to traceability and opportunities for overcoming these challenges.

연구 동기 및 목표

• 과학적 연구 논문과 그에 관련된 소프트웨어 자료 간 현재의 추적 가능성 상태를 조사하는 것.
• 과학 지식과 소프트웨어 코드 간 링크를 생성하고 식별하며 유지 관리하는 데 있어 발생하는 과제를 특정하는 것.
• 링크 부패(link rot)가 과학적 소프트웨어 추적 가능성과 재현성에 미치는 영향을 평가하는 것.
• 자동화된 도구와 메타데이터 관리가 링크 식별 및 지속 가능성 향상에 기여하는 방식을 탐색하는 것.
• 연구 논문과 소프트웨어 자료 간 표준화되고 이원적이며 지속 가능한 링크 메커니즘을 제안하여 투명성과 지식 전이를 향상시키는 프레임워크를 마련하는 것.

제안 방법

• 연구 논문을 README 파일에 참조하는 377개의 깃허브 레포지터리에 대한 실증 분석을 수행하였다.
• 패턴 매칭과 수동 코딩을 활용해 소프트웨어 도메인을 분류하고, 인용된 논문의 관련성을 평가하였다.
• 이름 있는 실체 인식(NER)을 적용하여 레포지터리 내 11,274개의 코드 주석에서 학술 논문 참조를 식별하였다.
• 학술 논문 인용 패턴과 소프트웨어 구현 참조 간의 괴리를 탐지하기 위해 인용 패턴과 코드 재사용을 분석하였다.
• 레포지터리의 버전 관리 및 변경 로그를 분석하여 논문과 소프트웨어 버전 간 이종적 업데이트가 미치는 영향을 평가하였다.
• 링크 유지 및 식별 지원을 위한 자동화된 추적 가능성 도구와 메타데이터 비교 기법의 필요성을 제안하였다.

실험 결과

연구 질문

• RQ1 실제로 과학 논문은 소프트웨어 자료와 어떻게 연결되어 있으며, 주로 어떤 링크 패턴이 지배하고 있는가?
• RQ2 코드 주석과 소프트웨어 문서화는 학술 논문을 어느 정도 참조하고 있으며, 이는 문헌에서의 인용 패턴과 비교해 볼 때 어떠한가?
• RQ3 진행 중인 과학 논문과 소프트웨어 레포지터리 간의 추적 가능성 링크를 유지하는 데 있어 주요 과제는 무엇인가?
• RQ4 링크 부패(link rot)와 버전 불일치가 과학-소프트웨어 추적 가능성의 신뢰성에 어떤 영향을 미치는가?
• RQ5 과학 지식과 소프트웨어 자료 간 링크의 정밀도, 이원성, 지속 가능성을 향상시키기 위한 메커니즘은 무엇인가?

주요 결과

• README 파일에 학술 논문을 참조한 339개의 깃허브 레포지터리 중 92%는 공개된 논문을 보유하고 있었으며, 딥러닝이 가장 일반적인 도메인이었다.
• 메르센 트리플러스 알고리즘은 이전의 Twisted GFSR보다 코드 주석에서 더 자주 인용되어, 최근의 표준화된 구현 방식으로의 이행을 보여주었다.
• 학술 문헌에서 높은 인용 수를 기록한 일부 영향력 있는 논문들이 코드 주석에 참조되지 않은 것으로 나타나, 연구 지식이 소프트웨어 개발으로의 전이에 격차가 있음을 시사한다.
• 링크 생성은 주로 일시적인 방식이며, 대부분의 링크가 README나 코드 주석에 위치해 있어 특정 코드 컴포onent에 대한 세밀하고 이원적인 추적 가능성 부재를 보였다.
• 링크 유지 관리는 주요 과제로, 논문이나 소프트웨어의 업데이트가 추적 링크에 반영되지 않아 링크 부패와 고장 난 참조가 발생한다.
• Papers with Code나 CatalyzeX와 같은 자동화된 도구는 연결된 소프트웨어에의 액세스를 향상시켰지만, 링크의 지속 가능성과 정밀도 문제를 해결하지 못하고 있다.