[논문 리뷰] Censorship and the peer review system

Karl Svozil|arXiv (Cornell University)|2002. 08. 11.

Vietnamese History and Culture Studies인용 수 5

한 줄 요약

이 논문은 학술 출판에서의 동료 심사 제도가 종종 유익하기보다는 해로움을 초래한다고 비판하며, 현재의 실행 방식이 진전을 저해하는 악성 검열에 가깝다고 주장한다. 잘못된 심사 관행이 자원과 시간을 낭비한다고 보고, 전통적 동료 심사의 대안을 통해 학술 소통을 향상시키자고 제안한다.

ABSTRACT

In the best of all worlds, peer review amounts to benign censorship, saving trees, human efforts and money spent by attempts to cope with erroneous or badly written papers. In the worst case, ``peer review'' amounts to malign censorship, impede progress, and hence to a waste of human efforts and (mostly taxpayer's) money. It is argued that, by the way it is commonly executed by editorial boards and funding agencies, peer review does often more bad than good. In an academic environment which is increasingly ``objectivized'' and administered by quality measures of private business, careful peer review is almost punished, since it amounts to ``unproductive time.'' If paid realistically, it would be excessively expensive. Very little attention is also given to the quality of the review process. Alternatives to ``peer review'' are briefly suggested and discussed.

연구 동기 및 목표

• 현재의 학술 분야 동료 심사 제도가 종종 구조적 평가가 아니라 악성 검열으로서 작동하는 방식을 검토하는 것.
• 실행 부실한 동료 심사 과정이 초래하는 비효율성과 자원 낭비를 부각하는 것.
• 특히 정량적 품질 지표에 대한 관리적 압박이 가중됨에 따라 동료 심사가 본질적으로 유익하다는 전제를 도전하는 것.
• 실제로 보수를 지급할 경우 동료 심사의 경제적 비용과 시간적 비용을 질문하는 것.
• 학술 소통의 질을 향상시킬 수 있는 기존 동료 심사의 대안 모델을 탐색하는 것.

제안 방법

• 동료 심사의 이중적 성격(유익한 검열 또는 해로운 검열)을 분석하는 것.
• 관리 및 품질 측정 압박이 동료 심사의 신뢰성에 끼치는 영향을 평가하는 것.
• 시간과 재정적 자원 측면에서 동료 심사의 기회비용을 분석하는 것.
• 심사 품질과 절차 표준화에 대한 관심 부족을 논의하는 것.
• 효율성과 학술적 가치에 기반해 기존 동료 심사의 대안 모델을 제안하는 것.
• 학술 환경에서 기업적 품질 지표와 동료 심사 간의 비교를 수행하는 것.

실험 결과

연구 질문

• RQ1 현재의 동료 심사 제도는 학술 출판에서 어떤 방식으로 악성 검열의 형태로 작동하는가?
• RQ2 동료 심사 과정은 학술 소통에서 얼마나 많은 인적 자원과 재정 자원을 낭비하는가?
• RQ3 왜 현재의 학술 행정 모델 하에서는 높은 품질의 동료 심사가 자주 가치가 없거나 이행이 불가능한가?
• RQ4 실제 시장 수준의 보수를 지급할 경우 동료 심사의 경제적 영향은 어떠한가?
• RQ5 기존 동료 심사의 대안으로서 실현 가능한 모델은 무엇이며, 그것이 학술 출판의 효율성과 신뢰성을 어떻게 향상시킬 수 있는가?

주요 결과

• 동료 심사가 자주 악성 검열으로 작동하여 과학적 진전을 저해하고, 이를 지원하지는 않는다.
• 실행 부실과 품질 통제 부족으로 인해 현재 제도는 상당한 인적 노력과 납세자 자금으로 지원되는 자원을 낭비한다.
• 학술 기관은 점점 더 측정 가능한 품질 지표를 우선시함으로써, 시간이 많이 들고 신중한 동료 심사의 가치를 약화시키고 있다.
• 공정한 보수를 지급할 경우 동료 심사는 경제적으로 비현실적이며, 이는 체계적 비효율성을 드러낸다.
• 심사 과정 자체의 품질에 대해 거의 관심을 기울이지 않지만, 학술 성과에 결정적인 역할을 하고 있음에도 불구하고.
• 이 논문은 이러한 체계적 결함을 해결하기 위해 기존 동료 심사의 대안을 탐색해야 한다고 제안한다.