[论文解读] CyberChair: A Web-Based Groupware Application to Facilitate the Paper Reviewing Process

Richard van de Stadt|arXiv (Cornell University)|Jun 8, 2012

Usability and User Interface Design参考文献 8被引用 21

一句话总结

CyberChair 是一个基于网络的群件应用程序，旨在通过自动化存储提交稿件、管理评审和检测冲突评审等行政任务，简化学术会议的论文评审流程。它实现了 O. Nierstrasz 的「识别倡导者」模式，通过结构化的评审分析和冲突解决工具，支持程序委员会选择高质量论文。

ABSTRACT

In this paper we describe CyberChair, a web-based groupware application that supports the review process for technical contributions to conferences. CyberChair deals with most administrative tasks that are involved in the review process, such as storing author information, abstracts, (camera-ready) papers and reviews. It generates several overviews based on the reviews which support the Program Committee (PC) in selecting the best papers. CyberChair points out conflicting reviews and offers the reviewers means to easily communicate to solve these conflicts. In his paper Identify the Champion, O. Nierstrasz describes this review process in terms of a pattern language. CyberChair supports PCs by using these patterns in its implementation.

研究动机与目标

• 通过减少行政负担，解决传统学术会议论文评审流程中的低效问题。
• 通过生成基于评审的概览并识别冲突评审，支持程序委员会进行数据驱动决策。
• 实施 O. Nierstrasz 的「识别倡导者」模式，作为论文选择的结构化方法。
• 为评审人员提供沟通平台，以协作方式解决评审冲突。
• 提供一个公开的、开源的系统版本（CyberChair），与商业版本（CyberChairPRO）相区分。

提出的方法

• 该系统将所有与论文相关的数据，包括作者信息、摘要、全文和评审意见，集中存储于基于网络的数据库中。
• 它会自动生成评审分数和反馈的概览，以协助程序委员会评估投稿。
• 通过分析评审人员之间在评审评分或推荐意见上的差异，实现冲突检测。
• 界面支持评审人员在系统内直接沟通，以解决分歧，促进达成共识。
• 该应用程序基于 O. Nierstrasz 的「识别倡导者」模式语言设计，采用基于模式的架构。
• 系统支持提交稿件的版本控制，包括最终定稿版本，并保留审计日志以确保透明性。

实验结果

研究问题

• RQ1 基于网络的系统如何减轻会议论文评审流程中的行政负担？
• RQ2 哪些机制能够有效检测并解决同行评审中的冲突？
• RQ3 如何在可扩展的软件系统中实现如「识别倡导者」这样的结构化评审模式？
• RQ4 自动反馈聚合在支持程序委员会决策中发挥什么作用？
• RQ5 如何在不破坏效率的前提下，将评审人员之间的协作沟通整合进评审工作流？

主要发现

• CyberChair 有效自动化了存储稿件、管理评审和追踪稿件版本等核心行政任务。
• 系统通过比较评审分数和推荐意见来检测冲突评审，实现对分歧的早期识别。
• 评审人员可通过系统直接沟通以解决冲突，提升共识达成效率并减轻决策疲劳。
• 该应用通过生成突出关键趋势和异常值的评审概览，支持结构化决策制定。
• 「识别倡导者」模式的实现增强了论文选择过程的透明度和公平性。
• 公开版本的 CyberChair（CyberChair）与商业版本（CyberChairPRO）独立开发，前者可供学术界使用和研究。