[論文レビュー] Mallows Ranking Models: Maximum Likelihood Estimate and Regeneration

Wenpin Tang|arXiv (Cornell University)|Aug 26, 2018

Bayesian Modeling and Causal Inference被引用数 4

ひとこと要約

本稿は、Mallowsの$φ$モデルに対する最尤推定量（MLE）の統計的分析を提供し、無限一般化Mallows（IGM）モデルの再生性を活用して、自動的なモデルサイズ選択アルゴリズムを提案する。この手法は再生に基づく推論により、最適なトップ-$t$ランキングサイズ$t$を特定し、合成データおよび実世界のデータにおいて収束性が向上し、過剰適合が軽減される優れた性能を示す。

ABSTRACT

This paper is concerned with various Mallows ranking models. We study the statistical properties of the MLE of Mallows' $ϕ$ model. We also make connections of various Mallows ranking models, encompassing recent progress in mathematics. Motivated by the infinite top-$t$ ranking model, we propose an algorithm to select the model size $t$ automatically. The key idea relies on the renewal property of such an infinite random permutation. Our algorithm shows good performance on several data sets.

研究の動機と目的

• Mallowsの$φ$モデルのMLEの統計的性質、特にバイアスと収束速度の分析。
• 有限および無限Mallows順序付けモデルの理論的関連性の確立、特に無限一般化Mallows（IGM）モデルに焦点を当てる。
• 無限順列の再生性を活用して、IGMモデルにおける最適なモデルサイズ$t$を自動的に選択するアルゴリズムの開発。
• 実世界の順位データに対して提案手法を評価し、ターゲット順位推定の観点で既存手法を上回る性能を示すこと。

提案手法

• 無限ランダム順列の再生性を活用して、無限一般化Mallows（IGM）モデルにおけるモデルサイズ$t$を自動的に選択する再生に基づくアルゴリズムを提案。
• IGMモデルのパrameter化にインバージョンテーブル$s_j(\pi)$を用い、$\theta_j$が順位の位置$j$における確率を制御する。
• 有限および無限Mallowsモデルの両方において、最大尤度推定（MLE）を用いて$\theta$、$\vec{\theta}$、および$\pi_0$を推定する。
• $\pi_0$が既知の場合は凸最適化を用いて$\theta$のMLEを推定し、実データでは$\pi_0$推定にSORTRヒューリスティックを適用する。
• 単一パrameter IGMモデルおよび有限Mallowsの$\phi$モデルにおけるMLEのバイアスと収束速度に関する理論的結果を導出する。
• 合成データおよび実データセット（大学のホームページ検索および順位投票データを含む）を用いて、モデルとアルゴリズムの妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 Mallowsの$\phi$モデルにおける分散パrameter $\theta$ のMLEはバイアスを有するか？ また、その収束速度は？
• RQ2 中央順位$\widehat{\pi}_0$ のMLEは真の$\pi_0$ にどの程度の速さで収束するか？
• RQ3 無限一般化Mallowsモデルにおけるモデルサイズ$t$ は、確率的再生性を用いて自動的に選択可能か？
• RQ4 提案された自動$t$-選択アルゴリズムは、実世界の順位データにおいてどの程度の統計的性能を示すか？

主な発見

• Mallowsの$\phi$モデルにおける$\theta$ のMLEはバイアスを有し、正則性条件下で収束速度が確立されている。
• 単一パrameter IGMモデルにおいて、適切な正則性のもとで$\theta$ のMLEは$O_p(n^{-1/2})$ の速度で収束する。
• 提案された再生に基づくアルゴリズムは、順位投票データに対して$t=2$ を選択し、$\widehat{\theta}_1=0.46$、$\widehat{\theta}_2=0.54$、$\widehat{\pi}_0=(3|1|5|4|2)$ を得た。
• 大学のホームページ検索タスクでは、68%のクエリで$t=5$ が選択され、平均ターゲット順位が6.8、中央順位が3と、先行研究を上回った。
• モデルサイズ$t=2$ では平均順位4.2、中央順位2を達成し、低いモデル複雑性で優れた性能を示した。
• ホームページデータにおける小規模$t$ での平均および中央順位が低かったことから、より大きな$t$ 値に比べて過剰適合が軽減されていることが示された。