[논문 리뷰] Predicting the Reproducibility of Social and Behavioral Science Papers Using Supervised Learning Models

Jian Wu, Rajal Nivargi외 9명|arXiv (Cornell University)|2021. 04. 08.

scientometrics and bibliometrics research참고 문헌 35인용 수 11

한 줄 요약

이 논문은 139篇의 사회·행동과학(SBS) 논문에서 41개의 특징—학술지적, 소속 기관, 저자, 통계적, 의미적 특징—을 추출하는 지도 학습 프레임워크인 FEXRep을 제안한다. 재현 가능성 예측을 위해 ANOVA-F와 상호정보량을 사용한 특징 선택을 수행하였으며, 상위 9개 특징을 활용한 SVM 모델은 F1-스코어 0.68를 기록하였다. 이는 최소한의 인간 간섭으로도 전반적인 논문 수준의 특징이 재현 가능성 예측에 효과적으로 기여할 수 있음을 시사한다.

ABSTRACT

In recent years, significant effort has been invested verifying the reproducibility and robustness of research claims in social and behavioral sciences (SBS), much of which has involved resource-intensive replication projects. In this paper, we investigate prediction of the reproducibility of SBS papers using machine learning methods based on a set of features. We propose a framework that extracts five types of features from scholarly work that can be used to support assessments of reproducibility of published research claims. Bibliometric features, venue features, and author features are collected from public APIs or extracted using open source machine learning libraries with customized parsers. Statistical features, such as p-values, are extracted by recognizing patterns in the body text. Semantic features, such as funding information, are obtained from public APIs or are extracted using natural language processing models. We analyze pairwise correlations between individual features and their importance for predicting a set of human-assessed ground truth labels. In doing so, we identify a subset of 9 top features that play relatively more important roles in predicting the reproducibility of SBS papers in our corpus. Results are verified by comparing performances of 10 supervised predictive classifiers trained on different sets of features.

연구 동기 및 목표

• SBS 연구 논문에서 자동 특징 추출을 지원하는 확장 가능하고 모odu lar한 프레임워크를 개발하기 위해.
• SBS 연구 주장의 재현 가능성에 가장 잘 예측하는 최소한의 고영향도 특징 세트를 규명하기 위해.
• 핵심, 축소, 상위 9개 특징 등의 다양한 특징 세트를 사용한 다수의 지도 학습 분류기 성능을 평가하기 위해.
• 특징 정규화 및 누락 데이터 처리 기법이 모델의 강건성과 일반화 능력에 미치는 영향을 평가하기 위해.
• 연구자와 저널이 연구 품질과 투명성을 평가하는 데 도움이 되는 계산 기반 도구의 기반을 마련하기 위해.

제안 방법

• FEXRep 프레임워크는 학술지적(예: 인용 수), 소속 기관(예: 저널의 명성), 저자(예: 출판 이력), 통계적(예: 패턴 인식을 통한 p-값), 의미적(예: NLP를 통한 기금 출처) 특징 5종류를 추출한다.
• 특징 추출은 공개 API, 커스텀 파서, NLP 모델을 사용하며, 누락 값은 연속형 특징에 대해 중앙값, 이산형 특징에 대해 최빈값을 사용해 보간한다.
• 특징 선택은 ANOVA-F와 상호정보량(MI)을 활용해 특징을 순위 매기며, ANOVA-F의 상위 8개 특징과 MI에서 유도된 citations_methodology 특징을 조합해 최종 상위 9개 특징 세트를 구성한다.
• 모델 평가는 139편의 논문 코퍼스에서 반복된 분层 5배분할 교차검증을 수행한 10종의 지도 학습 분류기(예: SVM, 랜덤 포레스트, 로지스틱 회귀)를 사용한다.
• 성능 평가는 F1-스코어, 정밀도, 재현율을 기준으로 하며, 정규화는 최소-최대 스케일링을 통해 수행된다: $X' = (X - X_{\text{min}})/(X_{\text{max}} - X_{\text{min}})$.
• 강건성 평가는 핵심 특징, 축소 특징, 상위 9개 특징 세트를 사용한 모델을 정규화 여부에 따라 비교하여 평가한다.

실험 결과

연구 질문

• RQ1 SBS 논문에서 추출한 전반적인 특징 중 재현 가능성 예측에 가장 예측력 있는 특징은 무엇인가?
• RQ2 다양한 특징 세트의 포함 여부가 재현 가능성 예측에 있어 지도 학습 모델의 성능에 어떤 영향을 미치는가?
• RQ3 특징 정규화가 다양한 분류기에서 모델의 일반화 능력과 성능 향상에 어느 정도 기여하는가?
• RQ4 작은, 정교하게 선별된 특징 세트가 더 큰 특징 세트보다 재현 가능성 예측에서 뛰어난 성능을 보일 수 있는가?
• RQ5 누락 데이터 보간 및 특징 선택 기법이 모델 신뢰성과 분산 추정에 어떤 영향을 미치는가?

주요 결과

• ANOVA-F와 상호정보량을 통해 선별한 상위 9개 특징은 SVM을 사용할 경우 F1-스코어 0.68로 가장 높은 예측 성능 기록.
• 상위 9개 특징을 기반으로 훈련한 SVM 분류기는 F1-스코어 0.68과 재현율 0.99를 기록하여 재현 가능한 주장에 대해 매우 민감한 것으로 나타났다.
• 정밀도가 가장 높은 0.69를 기록한 QDA는 정규화된 상위 9개 특징을 사용했을 때 거짓 양성 결과를 최소화하는 데 효과적이었다.
• ANOVA-F의 상위 8개 특징을 초과해 추가 특징을 더 넣을 경우 모델 성능이 약간 떨어졌으며, 이는 더 큰 특징 세트에서 과적합의 가능성을 시사한다.
• 특징 정규화는 랜덤 포레스트, 다층 퍼셉트론, 나이브 베이즈 등의 다수 모델에서 성능 향상을 이끌었지만, QDA와 KNN는 약간의 성능 저하를 보였다.
• 상위 9개 특징 세트는 대부분의 분류기에서 핵심 및 축소 특징 세트보다 뛰어난 성능을 보였으며, 이는 특징 선택이 과적합을 완화하고 일반화 능력을 향상시킨다는 것을 시사한다.