[論文レビュー] Practices in Code Discoverability

Peter Teuben, Alice Allen+2 more|arXiv (Cornell University)|Feb 6, 2012

Scientific Computing and Data Management参考文献 2被引用数 3

ひとこと要約

この論文は、科学的出力としてのコードの評価を高めるために、アストロフィジックス・ソースコード・ライブラリ（ASCL）を査読付きで引用可能なリポジトリへと刷新し、コードをデータと同様に学術的認識を受ける仕組みを提唱している。コードをADSデータベースに統合することで、参照・引用・長期的再現性を可能にし、データが科学的インfra構造において果たす役割を模倣する。

ABSTRACT

Much of scientific progress now hinges on the reliability, falsifiability and reproducibility of computer source codes. Astrophysics in particular is a discipline that today leads other sciences in making useful scientific components freely available online, including data, abstracts, preprints, and fully published papers, yet even today many astrophysics source codes remain hidden from public view. We review the importance and history of source codes in astrophysics and previous efforts to develop ways in which information about astrophysics codes can be shared. We also discuss why some scientist coders resist sharing or publishing their codes, the reasons for and importance of overcoming this resistance, and alert the community to a reworking of one of the first attempts for sharing codes, the Astrophysics Source Code Library (ASCL). We discuss the implementation of the ASCL in an accompanying poster paper. We suggest that code could be given a similar level of referencing as data gets in repositories such as ADS.

研究の動機と目的

• 再現可能性研究において核となる役割を果たす科学的ソースコードの共有が、依然として不十分であるという現状を是正すること。
• コード共有の歴史的・継続的な課題、すなわち見かけの乱雑さへの抵抗、キャリア上のインcentiveの欠如、知的財産権に関する懸念を浮き彫りにすること。
• ASCLを持続可能で査読付きのコード発見・引用のためのプラットフォームとして位置づけ、ADS内のデータリポジトリを模範として提唱すること。
• データや出版物と同等に、コードを正当な引用可能な科学的出力として、機関およびコミュニティ全体が認識することを提唱すること。
• ADSのようなシステムを通じてインデックス作成・参照・長期保存を可能にすることで、コードを科学的インfra構造全体に統合すること。

提案手法

• アストロフィジックス分野における科学的コードの歴史的発展をレビューし、初期のコミュニティベースの共有やインターネットベースのリポジトリの登場を含む。
• 文献レビュー、アンケート調査、科学者プログラマーとの直接的対話によるコード共有の障壁分析を通し、文化的・制度的・技術的障壁を特定する。
• 元々のアストロフィジックス・ソースコード・ライブラリ（ASCL）を再考し、査読付きでキュレートされ、引用可能なコードリポジトリとして再設計すること。
• ASCLをアストロフィジックス・データ・システム（ADS）に統合し、データや出版物と同様にインデックス作成・引用・発見を可能にする提案。
• NSFのデータおよびソフトウェア保存に関する勧告に沿った、再現可能性研究の基準をソフトウェアを含む形で整備することを提唱する。
• ASCLモデルとADSへの統合が、コードを第一級の科学的成果物として扱う可能性を実証しており、これはフォローアップ論文（Allen et al., 2012）で確認されている。

実験結果

リサーチクエスチョン

• RQ1 再現可能性の科学的価値が高いうえに、多くのアストロフィニシストが自身のソースコードを共有しないのはなぜか？
• RQ2 科学的コードを、データと同様に発見可能で引用可能かつ学術的コミュニケーションエコシステムに統合するにはどうすればよいか？
• RQ3 ソースコードを正当で査読付きの科学的出力と見なすために、どのような制度的・文化的な変化が必要か？
• RQ4 ASCLのようなリポジトリが、コードの発見可能性と長期的保存をどのように向上させられるか？
• RQ5 コードをADSに統合することで、計算的アストロフィジックスにおける再現性と透明性はどのように向上するか？

主な発見

• 再現可能性研究において核となる役割を果たすにもかかわらず、文化的な抵抗やインcentiveの欠如により、多くの科学的コードが一般公開されないまま隠れたままになっている。
• ASCLは、査読付きで引用可能であり、長期的な発見可能性に焦点を当てたコードリポジトリとして再活性化された。
• 再現可能性の観点から、コード共有は不可欠であり、汚いまたはドキュメントが不足しているコードであっても、有効な科学的結果を生み出すものであれば公開すべきである。
• ASCLのコードは、アストロフィジックス・データ・システム（ADS）に正常に統合され、データや出版物と同様にインデックス作成・引用・発見が可能となった。
• コードが共有されない場合、科学的信頼性が損なわれるため、機関のポリシーがコードの保存と引用を支援するべきである。
• コードをADSに統合することは、ソフトウェアをデータや査読付き論文と同等の第一級の科学的出力として扱うという点で、重要な一歩を示している。