[論文レビュー] Architecture of a Conference Management System Providing Advanced Paper Assignment Features

Yordan Kalmukov|arXiv (Cornell University)|Nov 29, 2011

Expert finding and Q&A systems参考文献 13被引用数 5

ひとこと要約

本稿は、階層的キーワード分類体系を用いて論文とレビュアー間の意味的類似度を測定することで、正確で自動化された論文割り当てを可能にする会議管理システムのアーキテクチャを提案する。レビュアーの希望（好意的・否定的）と、機関、共著者関係、および歴史的関係の衝突（CoI）検出、負荷分散を統合することで、公平性を保ちつつ、誤りのない正確な割り当てを実現する。

ABSTRACT

This paper proposes an architecture and assignment management model of a conference management system that performs a precise and accurate automatic assignment of reviewers to papers. The system relies on taxonomy of keywords to describe papers and reviewers' competences. The implied hierarchical structure of the taxonomy provides important additional information - the semantic relationships between the separate keywords. It allows similarity measures to take into account not only the number of exactly matching keywords between a paper and a reviewer, but in case of non-matching ones to calculate how semantically close they are. Reviewers are allowed to bid on the papers they would like to (or not like to) review and to explicitly state conflicts of interest (CoI) with papers. An automatic CoI detection is checking for additional conflicts based on institutional affiliation, co-authorship (within the local database) and previous co-authorship in the past (within the major bibliographic indexes and digital libraries). The algorithm for automatic assignment takes into account all - selected keywords, reviewers' bids and conflicts of interest and tries to find the most accurate assignment while maintaining load balancing among reviewers.

研究の動機と目的

• 学術会議における効率的かつ正確なレビュアー割り当ての課題に取り組む。
• 階層的分類体系を用いてキーワード間の意味的関係を組み込むことで、従来のキーワードマッチングを改善する。
• レビュアーの希望と衝突のない状況で、公平性と負荷のバランスを保ちながら、レビュアー間の作業配分を最適化する。
• 機関の所属情報、共著者関係履歴、および書誌データを用いて、自動的に衝突のない関係を検出する。
• キーワード類似度、レビュアーの希望、CoI制約を統合した最適化フレームワークに統合された、堅牢な割り当てアルゴリズムを開発する。

提案手法

• 論文のトピックとレビュアーの専門性を表すために、階層的キーワード分類体系を用い、正確なキーワード一致を超えた意味的類似度の計算を可能にする。
• 分類体系の構造を活用して、共通の先祖を共有する非一致キーワード間の近接度を推定する類似度測定を実装する。
• レビュアーが、自分がレビューを希望するか、避けるべき論文に対して希望（好意的または否定的）を提出できるようにする。
• システムのデータベース内の直接の共著者関係、および外部の書誌インデックスから得た過去の共著者関係をチェックすることで、衝突のない関係（CoI）を自動的に検出する。
• キーワード類似度、レビュアーの希望、CoI制約を組み合わせた最適化アルゴリズムを適用し、バランスが取れており、衝突のないレビュアー割り当てを生成する。
• 容量と希望の制約に基づいて、レビュアー間で論文レビュー作業を均等に分配することで、負荷分散を強制する。

実験結果

リサーチクエスチョン

• RQ1 キーワードの正確な一致を超えて、論文とレビュアー間の意味的類似度をどのように向上させることができるか？
• RQ2 自動化された衝突のない関係（CoI）検出は、レビュアー割り当てにおける人的ミスや見落としをどの程度低減できるか？
• RQ3 レビュアーの希望と負荷のバランスを、自動化された割り当てシステムに効果的に統合する方法は何か？
• RQ4 階層的分類体系は、会議管理システムにおけるレビュアーと論文のマッチング精度にどのような影響を与えるか？
• RQ5 希望、CoIチェック、意味的類似度を統合したシステムは、従来の方法に比べてより信頼性が高く公平な割り当てを実現できるか？

主な発見

• 階層的キーワード分類体系により、キーワードが完全に一致しなくても意味的類似度の計算が可能となり、マッチングの正確性が著しく向上した。
• 自動化された衝突のない関係（CoI）検出により、機関および共著者関係の衝突が効果的に同定され、偏ったレビューのリスクが低減した。
• レビュアーの希望と負荷分散の制約を統合した結果、レビュアー間でのレビュー作業の分配がより公平になった。
• キーワード、希望、CoI情報という複数のデータソースを統合することで、高い割り当て正確性が達成された。
• 提唱されたアーキテクチャは、ピアレビュー誌への掲載を通じて実証されたように、実世界の会議管理応用に実現可能かつスケーラブルであることが示された。
• システムの設計は拡張性を備えており、外部の書誌データベースと統合することで、歴史的共著者関係の検出が可能である。