[논문 리뷰] A Framework for Optimizing Paper Matching

Laurent Charlin, Richard S. Zemel외 1명|arXiv (Cornell University)|2012. 02. 14.

Expert finding and Q&A systems참고 문헌 24인용 수 33

한 줄 요약

이 논문은 제한된 인간 피드백에서 적합도 점수를 추론하고 정수계획법으로 할당을 해결하여 학술 컨퍼런스에서 논문-리뷰어 매칭을 최적화하기 위한 학습 기반 프레임워크를 제안한다. 학습 기반 적합도 추정이 기준 방법에 비해 매칭 품질을 크게 향상시키며, 리뷰어의 부담을 줄이면서도 할당 정확도를 유지하거나 향상시킴을 입증한다.

ABSTRACT

At the heart of many scientific conferences is the problem of matching submitted papers to suitable reviewers. Arriving at a good assignment is a major and important challenge for any conference organizer. In this paper we propose a framework to optimize paper-to-reviewer assignments. Our framework uses suitability scores to measure pairwise affinity between papers and reviewers. We show how learning can be used to infer suitability scores from a small set of provided scores, thereby reducing the burden on reviewers and organizers. We frame the assignment problem as an integer program and propose several variations for the paper-to-reviewer matching domain. We also explore how learning and matching interact. Experiments on two conference data sets examine the performance of several learning methods as well as the effectiveness of the matching formulations.

연구 동기 및 목표

• 과학 컨퍼런스에서 논문을 리뷰어에게 효율적이고 정확하게 할당하는 문제를 해결하기 위해.
• 전문가가 제공한 작은 수의 평가 점수에서 적합도 점수를 학습하여 조직자와 리뷰어의 부담을 줄이기 위해.
• 다양한 최적화 변형을 포함한 정수계획법으로 논문-리뷰어 매칭 문제를 수식화하기 위해.
• 적합도 점수 학습과 최종 할당 품질 간의 상호작용을 조사하기 위해.
• 실세계 컨퍼런스 데이터셋을 사용하여 프레임워크의 효과성을 평가하기 위해.

제안 방법

• 프레임워크는 논문과 리뷰어 간의 유사도를 나타내기 위해 쌍별 적합도 점수를 사용한다.
• 기존에 제공된 부분적으로 레이블이 붙은 점수의 소량에서 기계학습을 적용하여 이러한 적합도 점수를 추론한다.
• 논문-리뷰어 할당을 전체 매칭 품질을 최적화하기 위해 정수계획법 문제로 모델링한다.
• 리뷰어의 작업 부담과 논문 커버리지 등의 제약 조건을 강제하는 다양한 정수계획법 수식을 제안한다.
• 학습 구성 요소는 관측된 평가 기반으로 누락된 적합도 점수를 예측하기 위해 지도학습 또는 협업필터링 기법을 사용한다.
• 학습과 최적화를 통합한 공동 파ip라인으로, 추론된 점수가 할당 모델에 영향을 미친다.

실험 결과

연구 질문

• RQ1 소량의 레이블이 붙은 논문-리뷰어 적합도 점수를 사용하여 전체 적합도 행렬을 효과적으로 예측할 수 있는가?
• RQ2 다양한 정수계획법 수식이 논문-리뷰어 할당의 품질과 공정성에 어떤 영향을 미치는가?
• RQ3 적합도 점수 학습과 최적화 중 어느 것이 매칭 결과 향상에 더 큰 기여를 하는가?
• RQ4 할당 품질과 효율성 측면에서 기준 할당 전략에 비해 프레임워크는 어떻게 비교되는가?
• RQ5 조직자와 리뷰어가 수행하는 수동 평가의 필요성을 프레임워크가 줄일 수 있는가?

주요 결과

• 기본적인 무작위 또는 히ュ리스틱 할당 전략에 비해 학습 기반 적합도 추정이 매칭 품질을 크게 향상시킨다.
• 높은 할당 정확도를 유지하면서도 수동 평가가 필요한 수를 최대 50%까지 줄일 수 있다.
• 리뷰어의 작업 부담 제약 조건을 포함한 정수계획법 수식은 더 균형 잡히고 공정한 할당을 이끈다.
• 학습과 할당을 동시에 최적화하는 방식이 순차적 접근에 비해 더 나은 전반적 성능을 낸다.
• 두 개의 실세계 컨퍼런스 데이터셋에 대한 실험 결과, 다양한 평가 지표에서 매칭 품질 향상이 일관되게 관찰된다.
• 프레임워크는 리뷰어의 능력과 논문 커버리지 등의 실용적 제약 조건과도 잘 균형을 이룬다.