[論文レビュー] A Framework for Optimizing Paper Matching

Laurent Charlin, Richard S. Zemel+1 more|arXiv (Cornell University)|Feb 14, 2012

Expert finding and Q&A systems参考文献 24被引用数 33

ひとこと要約

本論文は、限られた人間のフィードバックから適合性スコアを推定し、整数計画法として割り当てを最適化する学習ベースのフレームワークを提案する。学習ベースの適合性推定は、ベースライン手法に比べてマッチング品質を顕著に向上させ、レビュアーの負荷を軽減しながらも、割り当ての正確性を維持または向上させることを示している。

ABSTRACT

At the heart of many scientific conferences is the problem of matching submitted papers to suitable reviewers. Arriving at a good assignment is a major and important challenge for any conference organizer. In this paper we propose a framework to optimize paper-to-reviewer assignments. Our framework uses suitability scores to measure pairwise affinity between papers and reviewers. We show how learning can be used to infer suitability scores from a small set of provided scores, thereby reducing the burden on reviewers and organizers. We frame the assignment problem as an integer program and propose several variations for the paper-to-reviewer matching domain. We also explore how learning and matching interact. Experiments on two conference data sets examine the performance of several learning methods as well as the effectiveness of the matching formulations.

研究の動機と目的

• 科学的学会における論文をレビュアーに効率的かつ正確に割り当てる課題に対処すること。
• 専門家が提供する少数のレーティングから適合性スコアを学習することで、主催者およびレビュアーの負担を軽減すること。
• 複数の最適化バリエーションを備えた整数計画法として論文-レビュアーのマッチング問題を定式化すること。
• 適合性スコアの学習と最終的な割り当て品質との間の相互作用を調査すること。
• 実世界の学会データセットを用いて、フレームワークの有効性を評価すること。

提案手法

• フレームワークは、論文とレビュアーの間の親和性を表すペアワイズ適合性スコアを用いる。
• 機械学習を適用し、専門家が提供する部分的にラベル付けされたスコアの小さなセットから、これらの適合性スコアを推定する。
• 論文-レビュアーの割り当てを、全体のマッチング品質を最適化する整数プログラミング問題としてモデル化する。
• レビュアーの負荷や論文カバレッジなどの制約を強制するバリエーションを含む、複数の整数プログラミング定式化を提案する。
• 学習部は、観測されたレーティングに基づいて、欠落している適合性スコアを予測するための教師あり学習または協調フィルタリング技術を用いる。
• 推定されたスコアが割り当てモデルに影響を与えるように、学習と最適化を統合したジョイントパイプラインをフレームワークが採用する。

実験結果

リサーチクエスチョン

• RQ1 少数のラベル付けされた論文-レビュアー適合性スコアを用いて、完全な適合性行列を効果的に予測できるか？
• RQ2 異なる整数プログラミング定式化は、割り当ての品質と公平性にどのように影響するか？
• RQ3 適合性スコアの学習と最適化のどちらがマッチング結果の向上に寄与しているか、相対的な貢献度は何か？
• RQ4 割り当ての品質と効率性の観点から、フレームワークはベースラインの割り当て戦略に比べてどのように差をつけるか？
• RQ5 主催者およびレビュアーによる広範な手動スコア評価の必要性を、フレームワークが軽減できるか？

主な発見

• 学習ベースの適合性推定は、ランダムまたはヒューリスティックな割り当て戦略に比べ、マッチング品質を顕著に向上させる。
• フレームワークは、高い割り当て正確性を維持しながら、手動でのレーティング数を最大50％まで削減できる。
• レビュアーの負荷制約を組み込んだ整数プログラミング定式化は、よりバランスの取れた公平な割り当てをもたらす。
• 学習と割り当ての共同最適化は、逐次的手法よりも優れた全体的なパフォーマンスを達成する。
• 2つの実際の学会データセットを用いた実験では、複数の評価指標において一貫したマッチング品質の向上が確認された。
• フレームワークは、レビュアーの能力や論文カバレッジといった実用的制約と、割り当ての正確性の両方を効果的にバランスさせている。