[論文レビュー] Peer Reviewing Revisited: Assessing Research with Interlinked Semantic Comments

Cristina-Iulia Bucur, Tobias Kuhn+1 more|arXiv (Cornell University)|Oct 8, 2019

Scientific Computing and Data Management被引用数 6

ひとこと要約

本稿では、科学的出版における細粒度で相互にリンクされた査読コメントの意味的モデル「Linkflows」を提案する。形式的なリンクとメタデータを通じて査読者の意図を正確に表現することを可能にする。評価の結果、査読時における意味の捕捉は、事後的抽出に比べて真値との不一致を低減することが示され、より大きな査読者グループは「多数の知恵」効果により高い一致度を達成する。

ABSTRACT

Scientific publishing seems to be at a turning point. Its paradigm has stayed basically the same for 300 years but is now challenged by the increasing volume of articles that makes it very hard for scientists to stay up to date in their respective fields. In fact, many have pointed out serious flaws of current scientific publishing practices, including the lack of accuracy and efficiency of the reviewing process. To address some of these problems, we apply here the general principles of the Web and the Semantic Web to scientific publishing, focusing on the reviewing process. We want to determine if a fine-grained model of the scientific publishing workflow can help us make the reviewing processes better organized and more accurate, by ensuring that review comments are created with formal links and semantics from the start. Our contributions include a novel model called Linkflows that allows for such detailed and semantically rich representations of reviews and the reviewing processes. We evaluate our approach on a manually curated dataset from several recent Computer Science journals and conferences that come with open peer reviews. We gathered ground-truth data by contacting the original reviewers and asking them to categorize their own review comments according to our model. Comparing this ground truth to answers provided by model experts, peers, and automated techniques confirms that our approach of formally capturing the reviewers' intentions from the start prevents substantial discrepancies compared to when this information is later extracted from the plain-text comments. In general, our analysis shows that our model is well understood and easy to apply, and it revealed the semantic properties of such review comments.

研究の動機と目的

• 科学的出版における伝統的な査読の非効率性、一貫性の欠如、不透明性を解決すること。
• コメントの解釈における不一致を低減するため、書き込みの時点でその意味的意図を捉えること。
• 形式的な査読コメントと意味的メタデータを用いることで、下流の評価における正確性と一貫性が向上するかどうかを評価すること。
• 査読者グループや自動化ツールが専門家よりも、査読者の意図を再構築する際に優れているかどうかを検討すること。
• Web上でのリンク付きで意味的に豊かに表現された査読データとしてのLinkflowsモデルの実現可能性と利点を示すこと。

提案手法

• 特定の記事のセクションと意味的メタデータ（例：感情、実行可能性、影響度）への形式的リンクを備えた、査読コメントの表現のためのLinkflowsモデルの設計。
• コンピュータ科学の学術誌および会議におけるオープン査読から手作業でキュレートされたデータセットの作成。元の査読者による真値アノテーションを含む。
• 真値とモデル専門家、査読者、自動感情分析ツールからの回答を比較する、マルチアクター評価フレームワークの使用。
• グループ間の一致度の差の有意性を評価するため、統計的検定（Wilcoxon符号順位検定）の適用。
• 査読者を小さな単位にグループ化し、不一致スコアを比較することで、「多数の知恵」仮説の検証。
• HTTP URIとプロバンス追跡を含む、Semantic Webの原則を活用して、機械処理可能で監査可能な査読データを確保すること。

実験結果

リサーチクエスチョン

• RQ1 事後的分析に比べて、細粒度で意味的に豊かに表現された査読コメントモデルは、解釈の不一致を低減できるか？
• RQ2 査読者の意図を再構築する際、モデル専門家は査読者や自動化ツールと比較してどの程度高い一致度を示すか？
• RQ3 査読者の判断を集約することで、「多数の知恵」効果が一致度の向上に寄与するか？
• RQ4 自動感情分析ツールは、査読コメントの真値アノテーションとどの程度一致するか？
• RQ5 Linkflowsモデルは、コンピュータ科学分野の実際のオープン査読に効果的に適用可能か？

主な発見

• 査読コメントの意味的性質を事後に再構築すると、真値との間に顕著な不一致が生じる。これは、意図を出発元で捉える必要があることを示唆する。
• モデル専門家は査読者と比較して、査読コメントの解釈において有意に高い性能を示さなかった。これは、専門知識そのものが高い正確性を保証するわけではないことを示している。
• より大きな査読者グループは、より小さなグループよりも真値との不一致が低く、これは「多数の知恵」効果の存在を確認するものである。
• 3名の査読者グループの平均不一致度は、全査読者グループよりも高かった。これは、より大きなサンプルに集団知能が存在することを支持する。
• 自動感情分析ツールはモデル専門家と同等の性能を示したが、依然として真値との間に顕著な不一致を示した。
• Linkflowsモデルにより、査読コメントの正確で機械処理可能な表現が可能となり、科学的評価における曖昧さの低減とトレーサビリティの向上が実現された。