[論文レビュー] CyberChair: A Web-Based Groupware Application to Facilitate the Paper Reviewing Process

Richard van de Stadt|arXiv (Cornell University)|Jun 8, 2012

Usability and User Interface Design参考文献 8被引用数 21

ひとこと要約

CyberChair は、論文提出の管理、レビューの管理、レビューの矛盾を検出するなど、事務作業を自動化することにより、学術会議における論文レビュー作業を簡素化することを目的としたウェブベースのグループウェアアプリケーションです。O. Nierstrasz の「チャンピオンを特定する」パターンを実装し、構造的なレビュー分析と矛盾解決ツールを通じて、プログラム委員会が高品質な論文を選定するのを支援します。

ABSTRACT

In this paper we describe CyberChair, a web-based groupware application that supports the review process for technical contributions to conferences. CyberChair deals with most administrative tasks that are involved in the review process, such as storing author information, abstracts, (camera-ready) papers and reviews. It generates several overviews based on the reviews which support the Program Committee (PC) in selecting the best papers. CyberChair points out conflicting reviews and offers the reviewers means to easily communicate to solve these conflicts. In his paper Identify the Champion, O. Nierstrasz describes this review process in terms of a pattern language. CyberChair supports PCs by using these patterns in its implementation.

研究の動機と目的

• 学術会議における伝統的な論文レビュー作業の非効率性を解消し、事務的負担を軽減すること。
• レビューに基づく概要の生成と矛盾するレビューの特定を通じて、プログラム委員会がデータドリブンな意思決定を支援すること。
• O. Nierstrasz の「チャレンジャーを特定する」パターンを、論文選定のための構造的なアプローチとして実装すること。
• レビュアー同士が協働的にレビューの矛盾を解決できるコミュニケーションプラットフォームを提供すること。
• 商用バージョン（CyberChairPRO）とは別個に、公開・オープンソース版（CyberChair）を提供すること。

提案手法

• システムは、著者情報、要旨、本文、レビューなどの論文関連データを、集中型のウェブベースデータベースに保存します。
• 自動的にレビュー得点とフィードバックの概要を生成し、プログラム委員会による提出物の評価を支援します。
• レビュアー間のレビュー評価や推薦の差異を分析することで、矛盾を検出する仕組みを実装しています。
• インターフェースにより、レビュアーがシステム内ですぐに直接コミュニケーションを取れるようにし、合意形成を促進します。
• ピアレビューを対象とした O. Nierstrasz の「チャレンジャーを特定する」パターン言語をインspired した、パターンベースの設計を採用しています。
• 提出物のバージョン管理（カメラレディ版を含む）と、透明性を保つための監査ログを維持します。

実験結果

リサーチクエスチョン

• RQ1 ウェブベースのシステムは、どのように会議の論文レビュー作業における事務的負担を軽減できるか？
• RQ2 ピアレビューにおける矛盾を効果的に検出し、解決するためのメカニズムは何か？
• RQ3 「チャレンジャーを特定する」ような構造的なレビュー・パターンを、スケーラブルなソフトウェアシステムにどのように実装できるか？
• RQ4 自動フィードバック集約は、プログラム委員会の意思決定支援にどのように寄与するか？
• RQ5 効率性を損なわせることなく、レビュアー間の協働的コミュニケーションをレビュー作業フローにどのように統合できるか？

主な発見

• CyberChair は、提出物の保存、レビューの管理、提出物のバージョン追跡といった、コアな事務的作業を効果的に自動化しています。
• レビュー得点と推薦の比較により、矛盾するレビューを検出する仕組みを備えており、早期に意見の相違を特定できます。
• レビュアーはシステム内での直接的なコミュニケーションにより、矛盾を解決でき、合意形成が促進され、意思決定の疲労も軽減されます。
• レビューの概要を生成することで、キーパターンや異常値を際立たせる構造的な意思決定支援が可能になっています。
• 「チャレンジャーを特定する」パターンの実装により、論文選定の透明性と公平性が向上しています。
• 公開版の CyberChair（CyberChair）は、商用版（CyberChairPRO）とは別個に開発されており、学術的利用や研究のために公開されています。