[論文レビュー] Asymptotically Optimal Assignments In Ordinal Evaluations of Proposals

A. Yavuz Oruç, Abdullah Atmaca|ArXiv.org|Aug 22, 2009

Game Theory and Voting Systems参考文献 17被引用数 3

ひとこと要約

本稿は、各査読者がk件のプロポーザルをレビューできる制約のもとで、n件のプロポーザルのすべてのペアが少なくとも1回は共通の査読者によって比較されるように、査読者へのプロポーザルの最適な割り当てを解決する。k件のプロポーザルを担当する査読者数の一般下界n(n−1)/(k(k−1))を確立し、この下界に対して2倍要因以内で漸近的に一致する割り当て方式を提示。k = n/2、n/3、n/4などの特定のk値に対しては正確な解を示す。

ABSTRACT

In ordinal evaluations of proposals in peer review systems, a set of proposals is assigned to a fixed set of referees so as to maximize the number of pairwise comparisons of proposals under certain referee capacity and proposal subject constraints. In this paper, the following two related problems are considered: (1) Assuming that each referee has a capacity to review k out of n proposals, 2 < k < n, determine the minimum number of referees needed to ensure that each pair of proposals is reviewed by at least one referee, (2) Find an assignment that meets the lower bound determined in (1). It is easy to see that one referee is both necessary and sufficient when k = n, and n(n-1)/2 referees are both necessary and sufficient when k = 2. We show that 6 referees are both necessary and sufficient when k = n/2. We further show that 11 referees are necessary and 12 are sufficient when k = n/3, and 18 referees are necessary and 20 referees are sufficient when k = n/4. A more general lower bound of n(n-1)/k(k-1) referees is also given for any k, 2 < k < n, and an assignment asymptotically matching this lower bound within a factor of 2 is presented. These results are not only theoretically interesting but they also provide practical methods for efficient assignments of proposals to referees.

研究の動機と目的

• 各査読者が正確にk件のプロポーザルをレビューできる条件のもとで、n件のプロポーザルのすべてのペアが少なくとも1人の共通の査読者によってレビューされるようにするための最小査読者数を特定すること。
• この最小数を達成するプロポーザルから査読者への割り当てを構築し、すべてのペアワイズ比較カバレッジを保証すること。
• 2 < k < n を満たす任意のkに対して、必要な査読者数の一般下界を導出すること。
• この下界に対して2倍要因以内で漸近的に一致する割り当て戦略を提示すること。特に、k = n/2、n/3、n/4などの特定のk値に対して正確な解を示すこと。
• 容量制約および分野的制約を考慮した現実世界のピアレビュー制度において、実用的で効率的な方法を提供すること。

提案手法

• ペアワイズ比較と査読者容量に基づく組合せ的議論を用いて、一般下界n(n−1)/(k(k−1))を導出する。
• 正確なケースを分析：k = n/2 の場合に6名の査読者が必要かつ十分であり、k = n/3 の場合に11名が必要で12名で十分であり、k = n/4 の場合に18名が必要で20名で十分である。
• 一般kに対して下界に達するか、2倍要因以内に収まる明示的な割り当て方式を構築する。
• すべてのプロポーザルペアが少なくとも1人の査読者の評価でカバーされるように保証するため、組合せデザインの原則を用いる。
• 極値的組合せ論とグラフ理論的推論を用い、プロポーザルペアを辺、査読者をサイズkのハイパーエッジとしてモデル化する。
• 下界未満の査読者数ではいかなる割り当ても不可能であることを示し、提案された方式がこの下界に対して2倍要因以内に収まることを検証することで、漸近的最適性を検証する。

実験結果

リサーチクエスチョン

• RQ1 各査読者が正確にk件のプロポーザルをレビューできる条件のもとで、n件のプロポーザルのすべてのペアが少なくとも1人の共通の査読者によってレビューされるようにするための最小査読者数は何か？
• RQ2 任意のk（2 < k < n）に対して、理論的最小値を達成する割り当てを構築できるか？
• RQ3 k = n/2、k = n/3、k = n/4 などの特定のk値に対して、正確な最小査読者数は何か？
• RQ4 一般ケースにおいて、割り当て方式は理論的下界に対してどの程度近いか？また、漸近的性能保証は何か？
• RQ5 実用的で効率的であり、ピアレビュー制度におけるすべてのペアワイズ比較カバレッジを保証する割り当て戦略は何か？

主な発見

• 査読者数の一般下界はn(n−1)/(k(k−1)）であり、これは全ペアワイズ比較数と各査読者がカバーできるペア数の最大値に基づく。
• k = n/2 の場合、正確に6名の査読者が、すべてのペアをカバーするために必要かつ十分である。
• k = n/3 の場合、11名の査読者が必要で12名で十分であり、下界と上界の間の差が小さいことが示された。
• k = n/4 の場合、18名の査読者が必要で20名で十分であり、再びタイトな境界が得られた。
• 任意のk（2 < k < n）に対して、下界に対して2倍要因以内で漸近的に一致する割り当て方式が提示された。
• 本研究の結果は、すべてのプロポーザルペアのカバレッジが保証される、効率的でスケーラブルなピアレビュー制度を設計するための実用的フレームワークを提供する。