[논문 리뷰] CyberChair: A Web-Based Groupware Application to Facilitate the Paper Reviewing Process

Richard van de Stadt|arXiv (Cornell University)|2012. 06. 08.

Usability and User Interface Design참고 문헌 8인용 수 21

한 줄 요약

CyberChair는 논문 제출, 리뷰 관리, 충돌 리뷰 탐지 등의 행정 업무를 자동화하여 학술 컨퍼런스의 논문 심사 과정을 간소화하기 위해 설계된 웹 기반 그룹웨어 애플리케이션입니다. 이는 O. Nierstrasz의 '챔피언 식별' 패턴을 구현하여 심사위원위원회가 체계적인 리뷰 분석과 충돌 해결 도구를 통해 고품질 논문을 선별하는 데를 지원합니다.

ABSTRACT

In this paper we describe CyberChair, a web-based groupware application that supports the review process for technical contributions to conferences. CyberChair deals with most administrative tasks that are involved in the review process, such as storing author information, abstracts, (camera-ready) papers and reviews. It generates several overviews based on the reviews which support the Program Committee (PC) in selecting the best papers. CyberChair points out conflicting reviews and offers the reviewers means to easily communicate to solve these conflicts. In his paper Identify the Champion, O. Nierstrasz describes this review process in terms of a pattern language. CyberChair supports PCs by using these patterns in its implementation.

연구 동기 및 목표

• 기존의 논문 심사 과정에서 발생하는 비효율성을 줄이기 위해 행정 부담을 감소시키는 것.
• 리뷰 기반 개요 생성 및 갈등 리뷰 식별을 통해 심사위원위원회가 데이터 기반 의사결정을 내릴 수 있도록 지원하는 것.
• O. Nierstrasz의 '챔피언 식별' 패턴을 체계적인 논문 선정 접근법으로 구현하는 것.
• 리뷰어들이 협업적으로 리뷰 갈등을 해결할 수 있도록 소통 플랫폼을 제공하는 것.
• 공개된 오픈소스 버전(CyberChair)을 제공하여 상용 버전(CyberChairPRO)과 구분하는 것.

제안 방법

• 시스템은 모든 논문 관련 데이터(저자 정보, 초록, 전문 논문, 리뷰 등)를 중앙집중식 웹 기반 데이터베이스에 저장합니다.
• 심사위원위원회가 제출물을 평가하는 데 도움이 되도록 리뷰 점수 및 피드백의 개요를 자동으로 생성합니다.
• 리뷰어들 간의 평가 점수나 추천 의견의 이질성을 분석하여 갈등을 탐지합니다.
• 인터페이스를 통해 리뷰어들이 직접 시스템 내에서 소통할 수 있도록 하여 갈등 해결과 합의 도출을 촉진합니다.
• 동료 심사에 적합한 O. Nierstrasz의 '챔피언 식별' 패턴 언어를 기반으로 한 패턴 기반 설계를 애플리케이션에 구현합니다.
• 제출물의 버전 관리(카메라 레디 버전 포함)와 투명성을 확보하기 위한 감사 트레일 유지 기능을 지원합니다.

실험 결과

연구 질문

• RQ1 웹 기반 시스템은 컨퍼런스 논문 심사 과정에서 어떤 방식으로 행정 부담을 줄일 수 있는가?
• RQ2 어떤 메커니즘이 동료 심사 갈등을 효과적으로 탐지하고 해결할 수 있는가?
• RQ3 체계적인 리뷰 패턴인 '챔피언 식별'은 어떤 방식으로 확장 가능한 소프트웨어 시스템에 구현될 수 있는가?
• RQ4 자동 피드백 집계는 심사위원위원회의 의사결정 지원에 어떤 역할을 하는가?
• RQ5 효율성을 해치지 않으면서 리뷰어 간 협업 소통를 심사 워크플로에 어떻게 통합할 수 있는가?

주요 결과

• CyberChair는 논문 제출 저장, 리뷰 관리, 제출 버전 추적과 같은 핵심 행정 업무를 성공적으로 자동화합니다.
• 시스템은 리뷰 점수와 추천 의견을 비교하여 갈등 리뷰를 탐지함으로써 갈등을 조기에 식별할 수 있습니다.
• 리뷰어들은 시스템 내에서 직접 소통하여 갈등을 해결함으로써 합의 도출을 향상시키고 의사결정 피로를 감소시킵니다.
• 핵심 추세와 이질적 사례를 강조하는 리뷰 개요를 생성함으로써 체계적인 의사결정 지원을 제공합니다.
• '챔피언 식별' 패턴의 구현은 논문 선정의 투명성과 공정성을 향상시킵니다.
• 공개된 버전(CyberChair)은 상용 버전(CyberChairPRO)과 별개로 개발되었으며, 후자는 학술적 사용 및 연구를 위해 개방되어 있습니다.