[論文レビュー] A SUPER* Algorithm to Optimize Paper Bidding in Peer Review

Tanner Fiez, Nihar B. Shah+1 more|arXiv (Cornell University)|Jun 27, 2020

Expert finding and Q&A systems参考文献 56被引用数 14

ひとこと要約

この論文は、会議の同行査読におけるペーパー入稿順序を最適化するA*にインspiredされたアルゴリズムSUPER*を提案する。このアルゴリズムは、バイドカバレッジとレビュアーの関連性の両方をバランスさせる。動的にバイドが少ない・関連性の高いペーパーを優先することで、ベースラインと比較してバイドが不十分なペーパーを50–75%削減する。コミュニティモデル下での理論的最適性保証と、ICLR 2018のデータを用いた強力な実験的性能を示す。

ABSTRACT

A number of applications involve sequential arrival of users, and require showing each user an ordering of items. A prime example (which forms the focus of this paper) is the bidding process in conference peer review where reviewers enter the system sequentially, each reviewer needs to be shown the list of submitted papers, and the reviewer then "bids" to review some papers. The order of the papers shown has a significant impact on the bids due to primacy effects. In deciding on the ordering of papers to show, there are two competing goals: (i) obtaining sufficiently many bids for each paper, and (ii) satisfying reviewers by showing them relevant items. In this paper, we begin by developing a framework to study this problem in a principled manner. We present an algorithm called SUPER*, inspired by the A* algorithm, for this goal. Theoretically, we show a local optimality guarantee of our algorithm and prove that popular baselines are considerably suboptimal. Moreover, under a community model for the similarities, we prove that SUPER* is near-optimal whereas the popular baselines are considerably suboptimal. In experiments on real data from ICLR 2018 and synthetic data, we find that SUPER* considerably outperforms baselines deployed in existing systems, consistently reducing the number of papers with fewer than requisite bids by 50-75% or more, and is also robust to various real world complexities.

研究の動機と目的

• 査読バイドの順序最適化の課題に対処する。特に、上位順にバイドが偏るプライマシイフェクトの影響を軽減する。
• 2つの相反する目標をバランスする：各ペーパーに最低限のバイド数を確保することと、関連性によるレビュアー満足度を最大化すること。
• 既存のヒューリスティクスを凌駕する、原理的かつ理論的根拠に基づいたアルゴリズムを開発する。
• レビュアー-ペーパー類似度のコミュニティモデル下で、局所的および近似的最適な性能を示すことを証明する。
• ICLR 2018の実世界データおよび合成データセットにおいて、耐障害性とスケーラビリティを示す。

提案手法

• SUPER*は、ペーパー側の利得とレビュアー側の利得をバランスさせる重み付きスコアに基づき、各レビュアーのペーパー順序を決定するヒューリスティクス駆動のA*にインスパイドされた探索手法を用いる。
• アルゴリズムは重み αi,j = f^S(Si,j)(γp(gi−1,j + hi,j + 1) − γp(gi−1,j + hi,j)) + λγr^S(Si,j) を計算し、バイド不足と類似度を統合する。
• αi,jの降順にペーパーをソートすることで、各レビュアーが高インパクトかつ関連性の高いペーパーを優先的にバイドできるようにする。
• 非線形利得関数をサポートし、動的バイド数更新メカニズムによりプライマシイフェクトを組み込む。
• 各レビュアーの最適化が独立しているため、ペーパー側利得関数が線形の場合、アルゴリズムは最適であることが証明できる。
• 1レビュアーあたりO(d log d)の時間計算量を達成し、大規模な会議に対してもスケーラブルである。

実験結果

リサーチクエスチョン

• RQ1 原理的アルゴリズムは、バイド分布を改善しつつ、同行査読バイドにおけるレビュアー関連性を維持できるか？
• RQ2 SUPER*は、バイドが不十分なペーパー数を減らす点で、既存のベースラインと比べてどのように優れているか？
• RQ3 どのような条件下でSUPER*は理論的に最適または近似的最適となるか？
• RQ4 ノイズの多い類似度スコアや順次到着するレビュアーといった実世界の複雑要因に対して、SUPER*はどれほど耐性があるか？
• RQ5 バイド閾値や類似度分布の変動に対して、アルゴリズムの性能は維持されるか？

主な発見

• ICLR 2018のデータを用いた実験で、SUPER*は、バイドが要件を満たさないペーパー数を、既存のベースラインと比較して50–75%以上削減した。
• レビュアー-ペーパー類似度のコミュニティモデル下で、SUPER*は近似的最適性を示したが、一般的に使われるベースラインは顕著に劣っていた。
• ペーパー側利得関数が線形の場合、SUPER*は局所的最適性を達成し、理論的に最適であることが証明された。
• 実験結果から、実データおよび合成データの両方で一貫した性能向上が得られ、ノイズや設定の変動に対しても頑健であった。
• アルゴリズムの時間計算量は1レビュアーあたりO(d log d)であり、大規模な同行査読システムへのスケーラビリティを実現した。
• 重みベースのソーティング機構は、バイドカバレッジと関連性の両方を効果的にバランスさせ、グリーディー法や類似度のみに依存するヒューリスティクスを上回った。