[논문 리뷰] Novel processes and metrics for a scientific evaluation rooted in the principles of science - Version 1

Michaël Bon, Michael T. Taylor외 1명|arXiv (Cornell University)|2017. 01. 27.

Scientific Computing and Data Management참고 문헌 1인용 수 4

한 줄 요약

이 논문은 저널 영향력 지수를 대체하는 수평적이고 개방된 동료 평가 및 자가 저널 기반의 기여도 수준 평가 지표를 바탕으로 한 하향식, 대칭적인 과학 평가 체계를 제안한다. 이는 과학자들이 공동으로 연구를 평가하고 큐레이션할 수 있도록 하여 재현성, 개방성, 품질 향상을 위한 정량적이고 투명한 지표를 제공함으로써 신진 연구자들을 지원하고 과학적 권위를 탈중앙화한다.

ABSTRACT

Scientific evaluation is a determinant of how scientists, institutions and funders behave, and as such is a key element in the making of science. In this article, we propose an alternative to the current norm of evaluating research with journal rank. Following a well-defined notion of scientific value, we introduce qualitative processes that can also be quantified and give rise to meaningful and easy-to-use article-level metrics. In our approach, the goal of a scientist is transformed from convincing an editorial board through a vertical process to convincing peers through an horizontal one. We argue that such an evaluation system naturally provides the incentives and logic needed to constantly promote quality, reproducibility, openness and collaboration in science. The system is legally and technically feasible and can gradually lead to the self-organized reappropriation of the scientific process by the scholarly community and its institutions. We propose an implementation of our evaluation system with the platform "the Self-Journals of Science" (www.sjscience.org).

연구 동기 및 목표

• 현재 과학 평가 체계에서 편향된 권한 집중 문제를 해결하기 위해 편집위원회가 논문의 노출도와 경력 발전에 지나친 영향을 미치는 비대칭성을 제거한다.
• 저널 기반의 명성에 대체하여 과학적 타당성과 중요성의 원칙에 기반한 대칭적이고 공동체 중심의 평가 체계를 구축한다.
• 과학적 품질, 재현성, 개방성, 협업을 유도하는 실용적이고 정량적인 지표를 설계한다.
• 과학자들—특히 신진 연구자들—에게 과학적 검증과 인정에 대한 통제력을 회복시켜 주는 것을 목표로 한다.
• 인용 수나 저널 순위를 초월해 진정한 과학적 가치를 반영하는 지표를 기관 및 자금 기관이 도입할 수 있도록 한다.

제안 방법

• 과학자들이 자신의 연구와 타인의 연구를 큐레이션하고 평가할 수 있는 개인적이고 개방된 플랫폼인 '자기 저널'을 도입하여 수평적 동료 평가를 가능하게 한다.
• 투명하고 시간에 유연하며 공동체가 거버넌스하는 공개적이고 책임감 있는 동료 평가 절차를 구현한다.
• 독립적인 검증 수(예: '검증' 또는 '지지')와 동료 평론의 질을 기반으로 한 기여도 수준 지표를 개발한다.
• 타당성 평가(동료 평가를 통한)와 중요성 평가(자기 저널의 노출도 및 큐레이션을 통한)를 분리하여 과학적 가치를 명확히 구분할 수 있도록 한다.
• 제안된 체계의 기술적·조직적 실행 수단으로 SJS(자기 과학 저널) 플랫폼을 활용한다.
• h-지수와 유사한 지표를 설계하지만, 공동체가 검증한 개방적이고 누적적인 과학 기여 평가에 기반한다.

실험 결과

연구 질문

• RQ1 어떻게 과학 평가 체계를 재구성하여 편집위원회와 광범위한 과학 공동체 사이의 비대칭성을 제거할 수 있는가?
• RQ2 타당성과 중요성을 분리하여 재현성과 개방성을 지원하는 방식으로 과학적 가치를 객관적으로 측정할 수 있는 지표는 무엇인가?
• RQ3 탈중앙화되고 공동체가 거버넌스하는 기여도 수준 평가 체계가 저널 영향력 지수를 대체할 수 있는가? 이 과정에서 학술 경력에 혼란을 빚지 않는가?
• RQ4 어떤 방식으로 이러한 체계가 고품질, 협업 중심, 투명한 연구 관행을 유도할 수 있는가?
• RQ5 자기 저널과 개방적 동료 평가는 과학을 위한 지속 가능하고 자율적인 평가 생태계를 어떻게 조성할 수 있는가?

주요 결과

• 제안된 체계는 비밀스럽고 시간 압박이 심하고 접근을 통제하는 '동료 심문' 모델을 대체하여 과학적 자정과 투명성을 지원하는 개방적이고 수평적인 동료 평가 절차를 제공한다.
• 독립적인 검증 수와 동료 평론의 질을 기반으로 한 기여도 수준 지표는 정량화 가능하며, 저널 영향력 지수의 신뢰성 있고 투명하며 형평성 있는 대안이 될 수 있다.
• 평가가 공개적이고 누적적이며 공동체 전반에 분산되어 있어 편향과 악용의 여지가 줄어들어, 편집위원회가 중심이 되는 중앙집중식 평가 체계보다 게임화와 편향이 감소한다.
• 자기 저널은 과학자들—특히 신진 연구자들에게 위험 없이 인정과 영향력을 쌓을 수 있는 보람 있는 방식을 제공한다.
• 평가 위원회에서는 과학적 업적에 대한 집단적이고 맥락화된 판단에 접근할 수 있어 심사 시간을 단축시키고 지적 정교성을 높일 수 있다.
• SJS 플랫폼은 기술적·조직적 타당성을 입증하였으며, 공동체 중심의 과학 평가를 위한 확장 가능한 오픈소스 모델을 제공한다.