[論文レビュー] Science-Software Linkage: The Challenges of Traceability between Scientific Knowledge and Software Artifacts

Hideaki Hata, Jin Guo+2 more|arXiv (Cornell University)|Apr 13, 2021

Scientific Computing and Data Management参考文献 10被引用数 12

ひとこと要約

本稿は、科学的論文と関連するソフトウェアアーティファクトの間のトレーサビリティの課題を調査し、リンク作成、識別、保守におけるギャップを特定している。GitHubリポジトリおよびコードコメントに関する実証的研究を通じて、リンクは存在するものの、しばしば一時的で粒度が粗く、リンク腐食（link rot）の影響を受けることが明らかになった。これにより、再現性および科学・ソフトウェア工学分野における知識移転を向上させるために、標準的で双方向的かつ恒久的なリンクメカニズムの必要性が強調される。

ABSTRACT

Although computer science papers are often accompanied by software artifacts, connecting research papers to their software artifacts and vice versa is not always trivial. First of all, there is a lack of well-accepted standards for how such links should be provided. Furthermore, the provided links, if any, often become outdated: they are affected by link rot when pre-prints are removed, when repositories are migrated, or when papers and repositories evolve independently. In this paper, we summarize the state of the practice of linking research papers and associated source code, highlighting the recent efforts towards creating and maintaining such links. We also report on the results of several empirical studies focusing on the relationship between scientific papers and associated software artifacts, and we outline challenges related to traceability and opportunities for overcoming these challenges.

研究の動機と目的

• 科学的論文とそれに関連するソフトウェアアーティファクトの間のトレーサビリティの現状を調査すること。
• 科学的知識とソフトウェアコードの間のリンク作成、識別、保守における課題を特定すること。
• リンクの劣化（リンク腐食）が科学的ソフトウェアのトレーサビリティおよび再現性に与える影響を評価すること。
• 自動化ツールおよびメタデータ管理の役割が、リンクの識別および恒久性の向上にどのように寄与するかを検討すること。
• 研究論文とソフトウェアアーティファクトの間で標準的で双方向的かつ恒久的なリンクを提供するフレームワークを提案し、透明性および知識移転の向上を図ること。

提案手法

• 研究論文をREADMEファイルに参照する377のGitHubリポジトリを対象に、実証的分析を実施した。
• パターンマッチングと手動コーディングを用いて、ソフトウェア分野を分類し、引用された論文の関連性を評価した。
• 11,274件のコードコメントに含まれる学術論文の参照を特定するために、名前付きエンティティ認識（NER）を適用した。
• 引用パターンとコード再利用を分析し、学術的引用とソフトウェア実装の参照との間に乖離が生じているかを検出した。
• リポジトリのバージョニングおよび変更ログを調査することで、論文とソフトウェアのバージョンの非同期的更新がもたらす影響を評価した。
• リンクの保守および識別を支援するため、自動トレーサビリティツールおよびメタデータ比較技術の必要性を提言した。

実験結果

リサーチクエスチョン

• RQ1 実際の現場では、科学的論文はどのようにソフトウェアアーティファクトとリンクされているのか。また、主なリンクパターンは何か。
• RQ2 コードコメントおよびソフトウェアドキュメンテーションは、学術論文をどの程度参照しているのか。これは、学術文献における引用パターンと比べてどう異なるか。
• RQ3 進化を続ける科学的論文とソフトウェアリポジトリの間で、トレーサビリティリンクを維持するにあたり、主な課題は何か。
• RQ4 リンク腐食（リンク腐食）およびバージョンの不一致は、科学-ソフトウェアトレーサビリティの信頼性にどのように影響するか。
• RQ5 科学的知識とソフトウェアアーティファクトの間のリンクの正確性、双方向性、恒久性を向上させるためのメカニズムは何か。

主な発見

• READMEファイルに学術論文を参照する339のGitHubリポジトリのうち、92％が公開可能な論文を保有しており、特にディープラーニング分野が最も一般的であった。
• メルセンヌ・ツイスタアルゴリズムは、その前身であるTwisted GFSRよりもコードコメントで頻繁に引用されており、より最近で標準化された実装への移行が顕著に見られた。
• 学術文献における高い引用数にもかかわらず、一部の影響力のある論文がコードコメントに参照されていないことから、研究知識がソフトウェア開発への移転に遅れが生じている可能性が示唆された。
• リンク作成は主に一時的であり、多くのリンクがREADMEやコードコメントにのみ配置されており、特定のコードコンponentへの細粒度で双方向のトレーサビリティが欠如している。
• リンク保守は大きな課題であり、論文やソフトウェアの更新がトレーサビリティリンクに反映されないことが多く、リンク腐食や断線した参照が生じている。
• Papers with Code や CatalyzeX といった自動化ツールは、リンクされたソフトウェアへのアクセスを向上させたが、リンクの恒久性および正確性の根本的問題には対処していない。