[論文レビュー] Peer-review in the Internet age

Paweł Sobkowicz|ArXiv.org|Oct 2, 2008

Complex Network Analysis Techniques参考文献 11被引用数 5

ひとこと要約

本論文は、インターネットベースのネットワーク解析と自動化された引用モデル——特にランダム引用科学者フレームワーク——を活用することで、査読者が関連性の高い競合文献をより迅速に特定できるようにすることで、査読を改善することを提案している。引用ネットワークの特性を用いて主要な参考文献を提案することで、指数関数的に増加する科学文献の時代において、査読者の負担を軽減し、査読の質を向上させることができる。

ABSTRACT

The importance of peer-review in the scientific process can not be overestimated. Yet, due to increasing pressures of research and exponentially growing number of publications the task faced by the referees becomes ever more difficult. We discuss here a few possible improvements that would enable more efficient review of the scientific literature, using the growing Internet connectivity. In particular, a practical automated model for providing the referees with references to papers that might have strong relationship with the work under review, based on general network properties of citations is proposed.

研究の動機と目的

• 科学的論文の急増に伴い、包括的な査読を実施することが難しくなっている現状に対処すること。
• 査読者による作業負担を軽減するため、原稿に関連する関連性の高い競合文献の自動発見を実現すること。
• 査読者に基礎的文献や比較文献へのアクセスをより良く提供することで、査読の質と一貫性を向上させること。
• 同じ論文を複数回再提出するのを防ぎ、繰り返し拒否を回避するため、複数のジャーナル間で査読評価を再利用すること。
• 非匿名査読と査読履歴の公開を推進することで、査読プロセスの透明性と責任性を高めること。

提案手法

• Simキンとロイチャウドフリ（2005）が提唱したランダム引用科学者モデルを改変し、確率pで参照文献をランダムに選択・複写することで、引用行動を模擬する。
• 引用グラフのネットワーク的性質を用いて、査読中の原稿と構造的に類似性の高い論文を特定する。
• 科学文献ネットワーク内の引用リンクや近接性を分析することで、関連する参考文献の提案を自動化する。
• 同じ出版者に属する複数のジャーナル間で査読評価を統合し、重複する査読を回避する仕組みを提言する。
• Faculty of 1000と同様のデジタルプラットフォームを活用し、査読評価と著者への返答を公開・リンク化することで、査読を公開化する。
• 専門家の率直な発言を維持しつつ、査読者の責任感を高めるために、非匿名査読を統合する。

実験結果

リサーチクエスチョン

• RQ1 自動化された引用ネットワーク解析は、査読のための関連文献を特定する際の効率性と正確性をどの程度向上させられるか？
• RQ2 同じ出版者に属する複数のジャーナル間で査読を共有することで、提出サイクル数と査読者の負担はどの程度削減できるか？
• RQ3 公開され、非匿名の査読が、査読プロセスの質と整合性にどのような影響を与えるか？
• RQ4 既存のインターネット技術を活用することで、科学出版における査読ワークフローの標準化と簡素化は可能か？
• RQ5 自動化された参考文献提案ツールは、査読者や著者の見落としによって重要な文献を逃すリスクをどの程度軽減できるか？

主な発見

• ランダム引用科学者モデルは、内容や品質に関する最小限の仮定で、重尾型の引用分布といった実際の引用ネットワーク統計をうまく再現している。
• 多くの著者や査読者が、論文を読まずに引用していることが、引用エラーの連鎖から明らかであり、自動化された参考文献発見が両立可能かつ不可欠であることが示唆される。
• 引用ネットワーク構造に基づく自動化ツールは、査読者が主要な比較文献を特定するのに要する時間と労力を顕著に削減できる。
• 同じ出版者に属する複数のジャーナルで査読を統合することで、重複する査読サイクルを削減し、フィードバックの一貫性を向上させられる。
• 査読評価と著者への返答を公開することで、特に非匿名形式を採用することで、透明性、責任性、科学的議論全体の質が向上する。
• Faculty of 1000が使用するようなデジタルツールの統合は、熟練した専門家によるリアルタイムの科学文献評価が実用的かつスケーラブルであることを示している。