[論文レビュー] Recommender Systems for the Conference Paper Assignment Problem

Don Conry, Yehuda Koren+1 more|ArXiv.org|Jun 22, 2009

Expert finding and Q&A systems参考文献 18被引用数 6

ひとこと要約

本稿では、論文の要約、分野分類、共同著者関係などの複数のデータソースを統合するレコメンデーションシステムのアプローチを提案し、レビュアーの好みのモデリングを向上させることで、カンferenece論文割り当ての質を向上させる。線形計画法を用いて予測された親和性に基づいて割り当てを最適化することで、ベースライン手法と比較して、好ましくない割り当てを最大70％まで削減する。

ABSTRACT

Conference paper assignment, i.e., the task of assigning paper submissions to reviewers, presents multi-faceted issues for recommender systems research. Besides the traditional goal of predicting `who likes what?', a conference management system must take into account aspects such as: reviewer capacity constraints, adequate numbers of reviews for papers, expertise modeling, conflicts of interest, and an overall distribution of assignments that balances reviewer preferences with conference objectives. Among these, issues of modeling preferences and tastes in reviewing have traditionally been studied separately from the optimization of paper-reviewer assignment. In this paper, we present an integrated study of both these aspects. First, due to the paucity of data per reviewer or per paper (relative to other recommender systems applications) we show how we can integrate multiple sources of information to learn paper-reviewer preference models. Second, our models are evaluated not just in terms of prediction accuracy but in terms of the end-assignment quality. Using a linear programming-based assignment optimization formulation, we show how our approach better explores the space of unsupplied assignments to maximize the overall affinities of papers assigned to reviewers. We demonstrate our results on real reviewer preference data from the IEEE ICDM 2007 conference.

研究の動機と目的

• カンファレンス管理システムにおけるレコメンデーションのスパarsity（疎らかさ）なレビュアー-論文好みデータの課題に対処するため、多様な情報源を統合する。
• 共同フィルタリングにとどまらず、コンテンツベースの特徴と共同著者関係や分野分類といった構造的信号を含めた、より包括的なレビュアー好みモデリングを実現する。
• 予測精度だけでなく、レビュアーの好みとカンファレンスの目的を両立させる形で、エンドツーエンドの割り当て品質を最適化する。
• より良い好みモデリングが、特にデータが不足する状況下でも、優れた実世界の割り当て結果をもたらすことを示す。
• IEEE ICDM 2007の実世界データを用いて、実用的なカンファレンス環境における有効性を検証する。

提案手法

• 論文の要約、分野分類、共同著者ネットワークといった複数のデータソースを統合し、統一された好みモデリングフレームワークを構築する。
• 共同フィルタリングとコンテンツベース特徴を組み合わせたハイブリッドレコメンデーションモデルを用い、レビュアーが論文に対して示す親和性を予測する。
• 線形計画法に基づく割り当て最適化を適用し、レビュアーの能力制約や最低レビュー数制約を満たしつつ、全体のレビュアー-論文親和性を最大化する。
• 実世界のデータ不足を模倣するため、欠損したレビュアーのバイド（好み）を残差ベース（Resid）および正規化（Norm）の補完手法で補完する。
• 訓練・テスト分割戦略を採用し、テストセットの好みは割り当てアルゴリズムからは非表示だが、モデルはそれらを予測する。これにより、実際の導入環境を模擬する。
• 欠損データ下でも、高優先度のレビュアー好み（例：「High」評価）に一致する割り当ての割合を測定することで、割り当て品質を評価する。

実験結果

リサーチクエスチョン

• RQ1 複数のスパースなデータソースを効果的に統合することで、カンファレンス論文割り当てにおけるレビュアー好みモデリングをどのように向上させられるか？
• RQ2 改善された好みモデリングは、実際の論文-レビュアー割り当ての質をどの程度向上させるか？
• RQ3 線形計画法に基づく最適化は、レビュアーの負荷やレビュー網羅性といったカンファレンスの制約と、レビュアーの好みを効果的にバランスさせられるか？
• RQ4 異なる補完戦略（Resid 対 Norm）は、データ不足下で割り当て品質にどのような影響を及ぼすか？
• RQ5 コンテンツおよび構造的特徴の統合は、標準的な共同フィルタリングを上回る予測精度と割り当て結果を実現できるか？

主な発見

• 提案手法により、ベースラインで約60–70％であった好ましくない割り当て（「No」カテゴリ）の割合が、補完された好みを用いることで最大で15％まで低下した。
• 残差ベース補完（Resid）は、テスト割り当ての約50–60％を最高評価カテゴリ（「High」）に達成し、ベースラインを著しく上回った。
• 正規化補完（Norm）もResidとほぼ同等の性能を示したが、わずかに劣る結果となり、補完戦略の堅牢性を示した。
• 改善された好みモデルにより、50％のレビュアー好みが非表示であっても、依然として高い柔軟性を維持でき、データ不足下での一般化能力が顕著に向上した。
• 元のTaylorアルゴリズムの「評価合計」目的関数は維持またはわずかに向上し、標準指標に悪影響を及げなかった。
• トピック関連性と共同著者関係の情報統合により、全体の最適化目的関数に悪影響を及げることなく、より正確な好み予測が達成された。