[論文レビュー] Computational Reproducibility in Computational Social Science

David Schoch, Chung‐hong Chan+2 more|arXiv (Cornell University)|Jul 4, 2023

Scientific Computing and Data Management被引用数 5

ひとこと要約

本論文は、計算的社会科学（CSS）における計算的再現可能性のための段階的システムを提唱し、実行者および計算環境に基づき、1st（非公開）、2nd（信頼できる第三者）、3rd（非制限的）の再現可能性の度合いを区別する。Dockerfile などの宣言的環境記述、オープンソースソフトウェア、およびデータ、コード、環境の前もっての共有を提唱し、完全な再現可能性（3°CR）を達成する。これにより、利用できない計算リソースや制限付きのデータアクセスといった障壁に対処する。

ABSTRACT

Replication crises have shaken the scientific landscape during the last decade. As potential solutions, open science practices were heavily discussed and have been implemented with varying success in different disciplines. We argue that computational-x disciplines such as computational social science, are also susceptible for the symptoms of the crises, but in terms of reproducibility. We expand the binary definition of reproducibility into a tier system which allows increasing levels of reproducibility based on external verfiability to counteract the practice of open-washing. We provide solutions for barriers in Computational Social Science that hinder researchers from obtaining the highest level of reproducibility, including the use of alternate data sources and considering reproducibility proactively.

研究の動機と目的

• 計算的社会科学（CSS）における計算的再現可能性のための明確で実行可能な基準の欠如に取り組み、オープンサイエンスの動きにもかかわらず再現性危機にさらされている状況を是正する。
• 既存の再現可能性の定義における曖昧さを解消するため、実行者（誰が検証を行うか）と計算環境（どこで検証が行われるか）という二つの欠落した次元を導入する。
• 再現可能性の段階的システム（1°CR から 3°CR まで）を構築し、外部から検証可能な段階的な再現可能性を可能にし、二値の定義を超える。
• 制限付きのデータアクセス、環境ドキュメントの欠如、特許権付きまたは利用できない計算リソースへの依存といった、CSSにおける再現可能性の主な障壁を特定し、解決策を提案する。
• キャリア評価やジャーナルレベルでの再現性チェックといったインcentivesを提唱することで、再現性を研究の根幹的な基準として定着させる制度的・システム的変化を促進する。

提案手法

• 実行者（元の著者、信頼できる第三者、一般大衆）と資料へのアクセス制限の程度に基づき、計算的再現可能性の三段階システム（1°CR, 2°CR, 3°CR）を提唱する。
• 「非制限的再現可能資料」という概念を導入し、データ、コード、および宣言的環境記述（例：Dockerfile）を含む完全な記述を提供することで、誰もが正確な実行環境を再現可能にする。
• コンテナ化（例：Docker）の使用を提唱し、オペレーティングシステム、ソフトウェアバージョン、ライブラリ、依存関係を封入することで、異なるプラットフォーム間での一貫性ある実行を保証する。
• 長期的なソフトウェアアーカイブとコンテナ化との互換性があるため、標準Linuxディストリビューション（例：Ubuntu）の使用を推奨する。これにより再現性が向上する。
• データを共有できない場合でも、研究コンプリメンタやコード作成のベストプラクティスを用いることで、2°CRを達成できると提言する。
• 研究機関のインcentivesを提唱する。具体的には、3°CRの成果をキャリア評価の基準に組み込むことや、ジャーナルが再現性チェックを義務付けることにより、再現性を制度的に定着させる。

Figure 1: A declarative description of a computational environment (Dockerfile) generated by rang: It pins down the operating system (Debian 5.0 "Lenny"), the system component (libxml2-dev), the R version (2.15.0), and all software libraries (slam, SparseM, Rcpp, tm, maxent) with their versions

実験結果

リサーチクエスチョン

• RQ1 現在の二値の定義に曖昧さがある中で、計算的社会科学における計算的再現可能性をより明確に定義する方法は何か？
• RQ2 既存の再現可能性定義に欠けている主な次元は何であり、それらが計算結果の検証可能性にどのように影響を与えるか？
• RQ3 計算的社会科学の研究者が最高水準の再現性（3°CR）に到達できない主な障壁は何であり、それらをどのように克服できるか？
• RQ4 異なるシステム間で一貫性があり検証可能な実行が保証されるように、計算環境をどのように記述・共有すべきか？
• RQ5 計算的再現性をCSS研究分野の標準的でインcentivizedな実践とするために、どのような制度的・システム的変化が必要か？

主な発見

• 本論文は、実行者と計算環境を重要な次元として明確にし、二値の定義を超える段階的再現可能性システム（1°CR, 2°CR, 3°CR）を確立した。
• 最高水準の再現性（3°CR）は、データ、コード、宣言的環境記述（例：Dockerfile）を含む非制限的資料が公開され、誰もが実行可能である場合に達成される。
• Dockerfile などの宣言的環境記述は、OS、ライブラリ、Rバージョンなどのすべてのソフトウェアコンponentを明確にピン留めすることで、一貫した実行を保証する上で不可欠である。
• 長期的なソフトウェアアーカイブとコンテナ化との互換性があるため、標準Linuxディストリビューション（例：Ubuntu）の使用が推奨される。これにより再現性が向上する。
• データを共有できない場合でも、信頼できる第三者のデータリポジトリを利用したり、再現性チェックを実施するジャーナルに提出することで、2°CRを達成できる。
• 本論文は、3°CRを達成するには制度的変化が必要であると結論づける。具体的には、3°CRを評価基準に組み込むことや、出版プロセスで再現性チェックを義務付けるようなインcentivesの整備が不可欠である。

Figure 2: Recommended practices to achieve the maximum degree of computational reproducibility in different scenarios