[논문 리뷰] A Multi-dimensional Investigation of the Effects of Publication Retraction on Scholarly Impact

Xin Shuai, Isabelle Moulinier외 4명|arXiv (Cornell University)|2016. 02. 29.

Academic integrity and plagiarism참고 문헌 16인용 수 5

한 줄 요약

이 연구는 웹 오브 사이언스 데이터를 활용하여 취소된 논문의 학술적 영향을 조사하며, 취소된 논문, 저자, 기관을 비취소된 논문과 비교한다. 연구 결과, 특히 부정행위가 있는 경우, 취소된 논문과 그 저자들은 심각하고 국소적인 명성 손상에 시달리지만, 기관, 공동저자, 관련 연구 주제로의 부정적 영향은 확산되지 않는 것으로 나타났다.

ABSTRACT

Over the past few decades, the rate of publication retractions has increased dramatically in academia. In this study, we investigate retractions from a quantitative perspective, aiming to answer two fundamental questions. One, how do retractions influence the scholarly impact of retracted papers, authors, and institutions? Two, does this influence propagate to the wider academic community through scholarly associations? Specifically, we analyzed a set of retracted articles indexed in Thomson Reuters Web of Science (WoS), and ran multiple experiments to compare changes in scholarly impact against a control set of non-retracted articles, authors, and institutions. We further applied the Granger Causality test to investigate whether different scientific topics are dynamically affected by retracted papers occurring within those topics. Our results show two key findings: first, the scholarly impact of retracted papers and authors significantly decreases after retraction, and the most severe impact decrease correlates to retractions based on proven purposeful scientific misconduct; second, this retraction penalty does not seem to spread through the broader scholarly social graph, but instead has a limited and localized effect. Our findings may provide useful insights for scholars or science committees to evaluate the scholarly value of papers, authors, or institutions related to retractions.

연구 동기 및 목표

• 논문 취소가 취소된 논문, 그들의 저자, 기관의 학술적 영향에 어떻게 영향을 미치는지 이해하는 것.
• 취소의 부정적 영향이 공동저자 관계 및 주제 기반 연관성과 같은 학술 네트워크를 통해 확산되는지 조사하는 것.
• 취소 비율이 특정 과학 연구 주제의 향후 인기와 관련이 있는지 평가하는 것.
• 이후 영향을 측정할 수 있는 체계적 프레임워크를 개발하여 취소 사유를 분류하는 것.
• 취소의 장기적 영향이 직접 관련된 당사자 외의 인용 행동과 학술 명성에 어떻게 영향을 미치는지 평가하는 것.

제안 방법

• 테이슨 루터 웹 오브 사이언스에서 취소된 논문 데이터셋을 구축하였으며, 자체 설계한 코드 체계를 사용해 취소 사유로 분류하였다.
• 동일한 저널과 동일한 날짜에 출판된 비취소 논문과의 비교 통계 실험을 수행하였다.
• 취소 전후의 인용 수와 학술 명성 변화를 취소된 저자 및 기관의 측정하였다.
• 취소 비율과 과학 주제의 인기 사이의 시간적 관계를 분석하기 위해 그랑저 인과성 검증을 적용하였다.
• 공동저자 네트워크 및 주제 기반 인용 네트워크를 분석하여 관련 학자 및 논문으로의 취소 영향 전파 여부를 탐지하였다.
• 종단적 인용 데이터를 사용하여 취소된 저자 및 기관의 명성 저하 및 회복 패턴을 측정하였다.

실험 결과

연구 질문

• RQ1 취소된 논문의 인용 영향은 비취소 대조군과 비교해 어떻게 영향을 받는가?
• RQ2 취소가 첫 번째 저자, 특히 과학적 부정행위에 연루된 저자의 학술 명성에 어떤 영향을 미치는가?
• RQ3 취소의 부정적 영향이 후원 기관, 공동저자, 주제 관련 논문으로 확산되는가?
• RQ4 취소 비율과 특정 과학 연구 주제의 향후 인기 사이에 인과관계가 존재하는가?
• RQ5 예를 들어 위조, 표절, 오류와 같은 다양한 취소 사유가 학술적 영향에 어떻게 다르게 영향을 미치는가?

주요 결과

• 취소된 논문은 취소 후 인용 수가 심각하고 지속적으로 감소하며, 특히 과학적 부정행위가 입증된 경우 감소 폭이 가장 크다.
• 특히 데이터 위조나 위조에 연루된 취소된 논문의 첫 번째 저자는 인용 추세를 통해 측정된 학술 명성이 급격하고 지속적으로 하락한다.
• 취소된 저자를 후원한 기관은 명성 손상이 측정되지 않아, 기관의 영향력은 취소로 인해 체계적으로 손상되지 않는 것으로 나타났다.
• 공동저자 네트워크나 주제 기반 인용 네트워크에서 영향 전파 효과는 발견되지 않아, 취소의 부정적 영향은 매우 국소적인 것으로 나타났다.
• 그랑저 인과성 분석 결과, 취소 비율과 과학 주제의 향후 인기 사이에 유의미한 동적 관계는 발견되지 않았다.
• 취소된 논문을 인용하는 것이 인용 저자에게 학술적 결과를 초래하지는 않아, 인용 행동의 맥락적 요인이 명성 리스크를 완화시킬 수 있음을 시사한다.