[論文レビュー] Censorship and the peer review system

Karl Svozil|arXiv (Cornell University)|Aug 11, 2002

Vietnamese History and Culture Studies被引用数 5

ひとこと要約

この論文は、学術出版における査読制度がしばしば良いより害をもたらしていると批判し、その現行の運用が進歩を妨げる悪質な検閲であると主張している。査読の不備な実施が資源と時間を浪費していると指摘し、学術的コミュニケーションを改善するための伝統的査読の代替案を提言している。

ABSTRACT

In the best of all worlds, peer review amounts to benign censorship, saving trees, human efforts and money spent by attempts to cope with erroneous or badly written papers. In the worst case, ``peer review'' amounts to malign censorship, impede progress, and hence to a waste of human efforts and (mostly taxpayer's) money. It is argued that, by the way it is commonly executed by editorial boards and funding agencies, peer review does often more bad than good. In an academic environment which is increasingly ``objectivized'' and administered by quality measures of private business, careful peer review is almost punished, since it amounts to ``unproductive time.'' If paid realistically, it would be excessively expensive. Very little attention is also given to the quality of the review process. Alternatives to ``peer review'' are briefly suggested and discussed.

研究の動機と目的

• 学術分野における現在の査読制度が、建設的な評価ではなく、悪質な検閲として機能している方法を検討すること。
• 不適切に実施された査読プロセスがもたらす非効率性と資源の浪費を浮き彫りにすること。
• 査読が本質的に有益であると仮定することの妥当性を問い直すこと、特に定量的品質指標の増加する行政的圧力下において。
• 現実的な報酬で支払われる場合に査読の経済的・時間的コストがどうなるかを検討すること。
• 学術的コミュニケーションを向上させる可能性のある、伝統的査読の代替案を検討すること。

提案手法

• 査読の二重の性質（善い（有益）か、悪質な（害ある）検閲か）を分析すること。
• 行政的圧力および品質測定の圧力が査読の整合性に与える影響を評価すること。
• 時間的および財政的資源の機会費用としての査読の影響を検討すること。
• 査読の質やプロセスの標準化に対する関心の欠如を議論すること。
• 効率性と学術的価値に基づいた、伝統的査読の代替モデルを提言すること。
• 学術的環境におけるビジネス的品質指標と査読を比較すること。

実験結果

リサーチクエスチョン

• RQ1 現在の査読制度は、学術出版においてどのように悪質な検閲として機能しているのか？
• RQ2 査読は学術的コミュニケーションにおいて、どれほど人的資源および財政的資源を浪費しているのか？
• RQ3 なぜ現在の学術行政モデル下では、高品質な査読がしばしば価値が低く評価されたり、実現不可能になるのか？
• RQ4 現実的な市場水準で査読者に報酬を支払うと、経済的影響はどのようなものになるのか？
• RQ5 伝統的査読の代替案として、学術的出版の効率性と整合性を向上させうる、実現可能な代替案は何か？

主な発見

• 査読はしばしば悪質な検閲として機能し、科学的進歩を支援するのではなく、それを妨げている。
• 現在の制度は、不適切な実施と品質管理の欠如により、人的努力と納税者資金で賄われる資源を著しく浪費している。
• 学術機関はますます測定可能な品質指標を重視するようになっており、これは注意深く時間を要する査読の価値を損なっている。
• 公平に報酬が支払われる場合、査読は経済的に実現不可能になるため、システム的な非効率性を示している。
• 査読プロセスそのものの質にほとんど注意が向けられていないが、それは学術的出力において極めて重要な役割を果たしている。
• このシステム的欠陥に対処するため、伝統的査読の代替案を検討すべきであると本論文は提言している。