[論文レビュー] A Unified Statistical Learning Model for Rankings and Scores with Application to Grant Panel Review

Michael Pearce, Elena A. Erosheva|arXiv (Cornell University)|Jan 7, 2022

Game Theory and Voting Systems被引用数 6

ひとこと要約

本稿では、データ変換を伴わずに順位付けとスコアを統合的にモデル化する統一的統計枠組みであるMallows-Binomialモデルを提案する。このモデルは、オブジェクトの質、一致順位、一致強度の共有パラメータを介して、Mallows $φ$ 順位モデルとBinomialスコアモデルを統合する。モデルは木探索アルゴリズムを用いて正確な最尤推定が可能であり、助成金審査データにおける妥当な不確実性評価を伴う優れた順位集約を実現する。

ABSTRACT

Rankings and scores are two common data types used by judges to express preferences and/or perceptions of quality in a collection of objects. Numerous models exist to study data of each type separately, but no unified statistical model captures both data types simultaneously without first performing data conversion. We propose the Mallows-Binomial model to close this gap, which combines a Mallows' $ϕ$ ranking model with Binomial score models through shared parameters that quantify object quality, a consensus ranking, and the level of consensus between judges. We propose an efficient tree-search algorithm to calculate the exact MLE of model parameters, study statistical properties of the model both analytically and through simulation, and apply our model to real data from an instance of grant panel review that collected both scores and partial rankings. Furthermore, we demonstrate how model outputs can be used to rank objects with confidence. The proposed model is shown to sensibly combine information from both scores and rankings to quantify object quality and measure consensus with appropriate levels of statistical uncertainty.

研究の動機と目的

• データ変換を伴わずに順位とスコアを同時に分析できる統計モデルの不足を解消すること。
• オブジェクトの質と一貫性の両方を共有パラメータで捉える統一モデルを構築し、相対的順位と数値的スコアの両方を扱うこと。
• 効率的な木探索アルゴリズムを用いて、モデルパラメータの正確な最尤推定（MLE）を実現すること。
• 実際の助成金審査データ（スコアと部分的順位の両方を含む）を用いて、モデルの性能を評価すること。
• モデルが信頼区間を伴った順位付きオブジェクトリストを生成できることを示し、順位集約の質を向上させること。

提案手法

• オブジェクトの質、一貫性順位、一貫性強度の共有潜在パラメータを介して、順位のMallows $φ$ モデルとスコアのBinomialモデルを統合するMallows-Binomialモデルを提案する。
• A*アルゴリズムに基づく木探索アルゴリズムを用い、モデルパラメータの正確な最尤推定（MLE）を計算する。
• オブジェクトの質、一貫性順位、一貫性強度が与えられたもとで、審査官の順位とスコアの確率が条件付き独立であるとモデル化する。
• 両方のデータタイプに共通するパラメータを用いてオブジェクトの質を推定することで、統合的推論を可能にするパラメータライゼーションを採用する。
• 順位とスコアの両方の成分を含む対数尤度関数を導出する。距離の項（一貫性からのずれ）とBinomial尤度の項を含む。
• 正則性条件下でMLEの一様一致性と漸近正規性の証明を提示し、MLEの統計的妥当性を確立する。

実験結果

リサーチクエスチョン

• RQ1 1つの統計モデルが、一方のデータ型を他方の型に変換することなく、順位とスコアを効果的に統合できるか。
• RQ2 順位とスコアの統合的モデリングは、単変量モデルと比較して、順位集約の精度と頑健性をどのように向上させるか。
• RQ3 データ変換が順位学習に与える影響は何か。また、提案モデルはその欠点をどのように回避するか。
• RQ4 適切な不確実性評価を伴って、オブジェクトの質と一貫性強度を信頼性高く推定できるか。
• RQ5 実世界の設定において、正確なMLEを求めるための木探索アルゴリズムは、近似手法と比較して効率性と正確性の面で優れているか。

主な発見

• Mallows-Binomialモデルは、共有パラメータを介して順位とスコアを統合し、データ変換に起因する情報損失を回避する。
• 提案された木探索アルゴリズムにより、実用的応用に適した計算効率を備えた正確なMLE計算が可能となった。
• シミュレーション研究により、正則性条件下でモデルの一致性とパラメータ推定の漸近正規性が確認された。
• 実際の助成金審査データを用いた実証的分析から、スコアと順位の両方の情報を統合的に活用することで、信頼性の高い順位リストと信頼区間が得られることを示した。
• スコアと順位は補完的であることが示され、両者の統合的利用により、オブジェクトの質と一貫性強度の推定が向上した。
• 実際の助成金スコアの標本平均と分散が、理論的なBinomialの分散-平均関係に非常に近いことを確認し、スコアモデルの妥当性を裏付けた。