[論文レビュー] An Isotonic Mechanism for Overlapping Ownership

Jibang Wu, Haifeng Xu+2 more|arXiv (Cornell University)|Jun 19, 2023

Auction Theory and ApplicationsDecision Sciences参考文献 31被引用数 3

ひとこと要約

本稿では、科学会議における共同執筆論文のような重複所有権関係にある文書において、著者が真実の自己評価を提示できるようにする等単調なメカニズムを提案する。論文を著者コhortブロックに分割し、等単調回帰を用いて順位を原始的なレビュー得点と整合させる。このメカニズムにより、真実の提示がナッシュ均衡として保証され、貪欲アルゴリズムにより定数倍近似が達成され、大規模なピアレビュー制度におけるレビュー品質が著しく向上する。

ABSTRACT

Motivated by the problem of improving peer review at large scientific conferences, this paper studies how to elicit self-evaluations to improve review scores in a natural many-to-many owner-item (e.g., author-paper) situation with overlapping ownership. We design a simple, efficient and truthful mechanism to elicit self-evaluations from item owners that can be used to calibrate their noisy review scores in the existing evaluation process (e.g., papers' review scores from peers). Our approach starts by partitioning the owner-item relation structure into disjoint blocks, each sharing a common set of co-owners. We then elicit the ranking of items from each owner and employ isotonic regression to produce adjusted item scores, aligning with both the reported rankings and raw item review scores. We prove that truth-telling by all owners is a payoff dominant Nash equilibrium for any valid partition of the overlapping ownership sets under natural conditions. Moreover, the truthfulness depends on eliciting rankings independently within each block, making block partition optimization crucial for improving statistical efficiency. Despite being computationally intractable in general, we develop a nearly linear-time greedy algorithm that provably finds a performant block partition with appealing robust approximation guarantees. Extensive experiments on both synthetic data and real-world conference review data demonstrate the effectiveness of our mechanism in a pressing real-world problem.

研究の動機と目的

• レビュー不足とスコア付けの不一致が原因で、大規模な機械学習会議におけるピアレビューの質が低下している問題に対処すること。
• 重複所有権を持つ論文の著者から信頼できる自己評価を引き出す真実のメカニズムを設計すること。
• 論文が複数の著者を共有する状況下でも、真実の提示が提案されたメカニズムにおいてナッシュ均衡となることを保証すること。
• 推定効率を最大化するように著者をブロックに分割する、効率的でほぼ線形時間のアルゴリズムを開発すること。
• 合成データおよび実世界の会議レビューのデータを用いて、メカニズムの性能を評価すること。

提案手法

• 共著者関係に基づいて、会議の提出物を互いに素なブロックに分割し、所有権集合を形成する。
• 各著者に対して、そのブロック内における自身の論文の順位付け（主観的質の評価）を提示させる。
• 原始的なレビュー得点を、報告された順位と整合させつつ、二乗誤差を最小化するように、等単調回帰を適用する。
• ブロックが重複所有権集合の有効な分割によって形成される限り、真実の提示がナッシュ均衡となることを証明する。
• 推定効率を最大化する最適なブロック分割を近似するための貪欲でほぼ線形時間のアルゴリズムを設計する。
• 貪欲アルゴリズムの理論的近似保証を確立し、多項式的目的関数下で定数倍近似比を達成することを示す。

Figure 1: An example of an author-paper ownership set shown as a bipartite graph. An edge between an individual and a paper indicates that this individual is the author of the paper.

実験結果

リサーチクエスチョン

• RQ1 重複所有権関係（例：共同執筆の会議論文）において、著者から真実の自己評価を引き出すメカニズムを設計できるか？
• RQ2 このようなメカニズムにおいて、真実の提示がナッシュ均衡となる条件は何か？
• RQ3 真実性を保証するために、著者を互いに素なブロックに分割し、各ブロック内で順位情報のみを収集する必要があるか？
• RQ4 最適なブロック分割を、保証された性能を持つ効率的アルゴリズムで近似できるか？
• RQ5 従来のピアレビューと比較して、提案されたメカニズムはレビュー得点の推定精度をどのように向上させるか？

主な発見

• 論文が共著者関係に基づいて互いに素な所有権ブロックに分割される限り、等単調メカニズム下で著者の全員が真実を提示することはナッシュ均衡である。
• メカニズムが証明的に真実であるのは、各ブロック内で独立に順位情報を収集した場合に限る。したがって、ブロック分割が唯一の最適化課題となる。
• 提案された貪欲アルゴリズムは、最適な分割の定数倍近似を達成し、著者数が増加する極限において近似比が $1/α$ 未満であることを示している。
• アルゴリズムはほぼ線形時間で実行され、数万件の提出物を含む大規模な会議に対してもスケーラブルである。
• 合成データおよび実世界の会議レビューのデータを用いた実験から、著者支援型キャリブレーションメカニズムが真のレビュー得点の推定精度を著しく向上することが示された。
• 特に、提出件数が多く、レビュアーが不足している状況において、真実の自己評価を活用することで、ベースライン手法を上回る性能を発揮した。

Figure 2: The first two plots base on the ICLR 2022 dataset illustrate the probability of an paper getting accepted as an “oral”, “spotlight” “poster” w.r.t. its average review score. The dashed line denotes the estimated probability from raw data, the smooth line denotes the probability predicted b