[論文レビュー] Predicting the Reproducibility of Social and Behavioral Science Papers Using Supervised Learning Models

Jian Wu, Rajal Nivargi+9 more|arXiv (Cornell University)|Apr 8, 2021

scientometrics and bibliometrics research参考文献 35被引用数 11

ひとこと要約

本稿では、139篇の社会的・行動的科学（SBS）論文から、被引用回数、会議・雑誌の評価、著者履歴、統計的指標（パターン認識によるp値抽出）、意味的特徴（自然言語処理による資金提供元抽出）の5種類の特徴（計41項目）を抽出する教師あり機械学習フレームワークFEXRepを提案する。特徴選択には分散分析F統計量（ANOVA-F）と相互情報量（MI）を用い、上位9つの特徴でSVMを用いた際のF1スコアは0.68に達した。これは、最小限の人的介入で、グローバルな論文レベル特徴を用いて再現性を効果的に予測可能であることを示している。

ABSTRACT

In recent years, significant effort has been invested verifying the reproducibility and robustness of research claims in social and behavioral sciences (SBS), much of which has involved resource-intensive replication projects. In this paper, we investigate prediction of the reproducibility of SBS papers using machine learning methods based on a set of features. We propose a framework that extracts five types of features from scholarly work that can be used to support assessments of reproducibility of published research claims. Bibliometric features, venue features, and author features are collected from public APIs or extracted using open source machine learning libraries with customized parsers. Statistical features, such as p-values, are extracted by recognizing patterns in the body text. Semantic features, such as funding information, are obtained from public APIs or are extracted using natural language processing models. We analyze pairwise correlations between individual features and their importance for predicting a set of human-assessed ground truth labels. In doing so, we identify a subset of 9 top features that play relatively more important roles in predicting the reproducibility of SBS papers in our corpus. Results are verified by comparing performances of 10 supervised predictive classifiers trained on different sets of features.

研究の動機と目的

• SBS研究論文からの特徴抽出を自動化するスケーラブルでモジュール式のフレームワークを開発し、再現性予測を支援すること。
• SBS研究主張の再現性を最もよく予測する、最小限の高インパクト特徴の特定。
• コア特徴、削減済み特徴、上位9特徴といった異なる特徴サブセットを用いた複数の教師あり分類器の性能を評価すること。
• 特徴の正規化と欠損値処理がモデルの頑健性および汎化性能に与える影響を評価すること。
• 研究者や学術誌が研究品質と透明性を評価するのを支援する計算ツールの基盤を提供すること。

提案手法

• FEXRepフレームワークは、被引用回数など、被引用情報、会議・雑誌の評価、著者履歴、p値（パターン認識による抽出）など、統計的特徴、資金提供元（自然言語処理による抽出）など意味的特徴を含む5種類の特徴を抽出する。
• 特徴抽出には公開API、カスタムパーサー、自然言語処理モデルを用い、欠損値は連続変数では中央値、離散変数では最頻値で補完する。
• 特徴選択には分散分析F統計量（ANOVA-F）と相互情報量（MI）を用い、ANOVA-Fで上位8特徴とMIで選ばれた「citation_methodology」を組み合わせ、合計9つの上位特徴を最終的特徴セットとして決定する。
• モデル評価には、SVM、ランダムフォレスト、ロジスティック回帰など10種類の分類器を用い、139篇の論文コーパスに対して繰り返し層別5分割交差検証を実施する。
• 性能評価にはF1スコア、適合率、再現率を用い、正規化には最小最大化スケーリングを適用：$X' = (X - X_{\text{min}})/(X_{\text{max}} - X_{\text{min}})$。
• 頑健性の評価は、コア特徴、削減済み特徴、上位9特徴を用いたモデルを、正規化有無の両方で比較して行う。

実験結果

リサーチクエスチョン

• RQ1 SBS論文から抽出されたどのグローバル特徴が再現性に対して最も予測的か？
• RQ2 異なる特徴サブセットの組み合わせが、再現性予測における教師あり学習モデルの性能にどのように影響するか？
• RQ3 特徴の正規化が、さまざまな分類器におけるモデルの汎化性能と性能向上にどの程度寄与するか？
• RQ4 少数の選別済み特徴からなるセットが、より大きな特徴セットを上回る性能を示せるか？
• RQ5 欠損値補完法と特徴選択手法の組み合わせが、モデルの信頼性と分散推定に与える影響はいかほどか？

主な発見

• ANOVA-Fと相互情報量による選択で得られた上位9特徴は、SVMを用いた際のF1スコア0.68という最高の予測性能を示した。
• 上位9特徴を用いたSVM分類器は、F1スコア0.68、再現率0.99という最高の結果を達成し、再現可能主張を強く検出できる感度の高さを示した。
• QDAは正規化された上位9特徴を用いた際、適合率0.69という最高の性能を示し、誤検出（偽陽性）の低減に特に効果的であった。
• ANOVA-Fで上位8特徴を超える特徴を追加すると、モデル性能はわずかに低下し、より大きな特徴セットでは過学習の可能性が示唆された。
• 正規化は一部のモデル（RF、MLP、NB）で性能向上をもたらしたが、QDAやKNNではわずかな性能低下を示し、効果は一貫しないことがわかった。
• 上位9特徴セットは、ほとんどの分類器においてコア特徴セットおよび削減済み特徴セットを上回る性能を示し、特徴選択が過学習を軽減し汎化性能を向上させることを示唆した。