[논문 리뷰] Architecture of a Conference Management System Providing Advanced Paper Assignment Features

Yordan Kalmukov|arXiv (Cornell University)|2011. 11. 29.

Expert finding and Q&A systems참고 문헌 13인용 수 5

한 줄 요약

이 논문은 계층적 키워드 분류체계를 활용해 논문과 심사위원 간의 의미적 유사도를 측정함으로써 정밀하고 자동화된 논문 배정을 가능하게 하는 회의 관리 시스템 아키텍처를 제안한다. 심사위원의 입찰, 갈등의 이권 검출(소속 기관, 공저자 관계, 역사적 기록), 그리고 로드 밸런싱을 통합함으로써, 정확하고 갈등이 없는 배정을 이끌어내며 동시에 심사위원 간의 공정성을 유지한다.

ABSTRACT

This paper proposes an architecture and assignment management model of a conference management system that performs a precise and accurate automatic assignment of reviewers to papers. The system relies on taxonomy of keywords to describe papers and reviewers' competences. The implied hierarchical structure of the taxonomy provides important additional information - the semantic relationships between the separate keywords. It allows similarity measures to take into account not only the number of exactly matching keywords between a paper and a reviewer, but in case of non-matching ones to calculate how semantically close they are. Reviewers are allowed to bid on the papers they would like to (or not like to) review and to explicitly state conflicts of interest (CoI) with papers. An automatic CoI detection is checking for additional conflicts based on institutional affiliation, co-authorship (within the local database) and previous co-authorship in the past (within the major bibliographic indexes and digital libraries). The algorithm for automatic assignment takes into account all - selected keywords, reviewers' bids and conflicts of interest and tries to find the most accurate assignment while maintaining load balancing among reviewers.

연구 동기 및 목표

• 학술 회의에서 효율적이고 정확한 심사위원 배정 문제를 해결하기 위해.
• 계층적 분류체계를 통해 키워드 간 의미적 관계를 통합함으로써 기존의 키워드 매칭 방식을 개선하기 위해.
• 심사위원의 선호도와 갈등의 이권을 존중하면서도 심사위원 간 공정성과 작업량 균형을 확보하기 위해.
• 소속 기관 정보, 공저자 관계 이력, 문헌 데이터를 활용해 갈등의 이권 자동 검출을 수행하기 위해.
• 다양한 제약 조건을 하나의 최적화 프레임워크에 통합하는 견고한 배정 알고리즘 개발하기 위해.

제안 방법

• 논문 주제와 심사위원의 전문성 표현을 위해 계층적 키워드 분류체계를 활용하여 정확한 키워드 매칭을 넘는 의미적 유사도 계산을 가능하게 한다.
• 분류체계의 구조를 활용해 공통 조상이 있는 비일치하는 키워드 간의 유사도를 추정하는 유사도 측정 방법을 구현한다.
• 심사위원이 특정 논문을 심사하고 싶거나 심사하고 싶지 않은지를 나타내기 위해 양성 또는 음성의 입찰을 제출할 수 있도록 한다.
• 시스템 데이터베이스 내 소속 기관 정보, 직접적인 공저자 관계, 외부 문헌 인덱스에서의 과거 공저 기록을 검사하여 갈등의 이권을 자동으로 탐지한다.
• 키워드 유사도, 심사위원 입찰, 갈등의 이권 제약 조건을 통합해 균형 잡히고 갈등이 없는 심사위원 배정을 생성하기 위해 최적화 알고리즘을 적용한다.
• 심사위원의 능력과 선호도 제약 조건에 기반해 논문 심사 작업을 균일하게 배분함으로써 로드 밸런싱을 강제한다.

실험 결과

연구 질문

• RQ1 정확한 키워드 매칭을 넘어서 논문과 심사위원 간의 의미적 유사도는 어떻게 향상시킬 수 있는가?
• RQ2 자동 갈등의 이권 검출은 심사위원 배정 과정에서 인간의 실수와 소외를 얼마나 줄일 수 있는가?
• RQ3 심사위원의 선호도와 작업량 균형은 자동화된 배정 시스템에 어떻게 효과적으로 통합될 수 있는가?
• RQ4 계층적 분류체계는 회의 관리 시스템에서 논문-심사위원 매칭 정확도에 어떤 영향을 미치는가?
• RQ5 입찰, 갈등의 이권 검사, 의미적 유사도를 통합한 시스템은 기존 방법보다 더 신뢰성 있고 공정한 배정을 가능하게 하는가?

주요 결과

• 계층적 키워드 분류체계는 정확한 키워드 매칭이 없더라도 의미적 유사도 계산을 가능하게 하여 매칭 정확도를 크게 향상시킨다.
• 갈등의 이권 자동 검출은 기관 소속 및 공저자 갈등을 성공적으로 식별하여 편향된 심사의 위험을 감소시킨다.
• 심사위원 입찰과 로드 밸런싱 제약 조건의 통합은 심사위원 간에 더 공정한 심사 작업 분배를 이끌어낸다.
• 키워드, 입찰, 갈등의 이권 정보 등 다양한 데이터 소스를 통합함으로써 시스템은 높은 수준의 배정 정확도를 달성한다.
• 피어 리뷰된 저널에 게재된 점을 통해 검증된 바와 같이, 제안된 아키텍처는 실제 회의 관리 응용 분야에서의 실현 가능성과 확장성을 입증한다.
• 시스템의 설계는 외부 문헌 데이터베이스와의 통합을 지원하여 역사적 공저자 관계 탐지에 유연성을 제공한다.