[論文レビュー] Learning Mixtures of Plackett-Luce Models

Zhibing Zhao, Peter Piech+1 more|arXiv (Cornell University)|Mar 23, 2016

Bayesian Methods and Mixture Models参考文献 25被引用数 11

ひとこと要約

本稿は、混合Plackett-Luceモデルの理論的同定可能性条件を確立し、2成分混合モデルの効率的学習のための一般化モーメント法（GMM）アルゴリズムを提案する。GMMアプローチは一貫性を示し、EMMアルゴリズムよりも著しく高速であり、最大45,000件の順序付けデータに対して競争力のある精度を示す。

ABSTRACT

In this paper we address the identifiability and efficient learning problems of finite mixtures of Plackett-Luce models for rank data. We prove that for any $k\geq 2$, the mixture of $k$ Plackett-Luce models for no more than $2k-1$ alternatives is non-identifiable and this bound is tight for $k=2$. For generic identifiability, we prove that the mixture of $k$ Plackett-Luce models over $m$ alternatives is generically identifiable if $k\leq\lfloor\frac {m-2} 2 floor!$. We also propose an efficient generalized method of moments (GMM) algorithm to learn the mixture of two Plackett-Luce models and show that the algorithm is consistent. Our experiments show that our GMM algorithm is significantly faster than the EMM algorithm by Gormley and Murphy (2008), while achieving competitive statistical efficiency.

研究の動機と目的

• ラベルスイッチングが除外された場合に、Plackett-Luceモデルの混合が同定可能かどうかという根本的問題を解決すること。
• このような混合が同定可能または一般に同定可能となるような代替案と成分の数の理論的境界を確立すること。
• 既存手法よりも高速でありながら統計的効率を損なわずに、2成分Plackett-Luce混合モデルを計算的に効率的に学習するアルゴリズムを開発すること。
• 増加するサイズの合成順序データ上で、提案されたGMMアルゴリズムの一貫性と性能を実証的に検証すること。

提案手法

• k個のPlackett-Luceモデルの混合が、代替案の数m ≤ 2k−1のとき非同定可能であることを証明し、k=2の場合にその境界がタイトであることを示す。
• k ≤ ⌊(m−2)/2⌋! のとき、k-Plackett-Luceモデルが一般に同定可能であることを確立し、高次元設定では非同定性がまれであることを示す。
• 順序統計から導かれたモーメント条件を用いて、2成分Plackett-Luce混合モデルを学習する一般化モーメント法（GMM）アルゴリズムを提案する。
• Pythonを介してMATLABのfmincon最適化ツールを用いてGMM目的関数を解き、パrameterの収束基準を10⁻¹⁰、目的関数の収束基準を10⁻⁶に設定する。
• GormleyとMurphy（2008）のEMMアルゴリズムをベースラインとして実装し、全体で10および20回の反復を実施、各Eステップで1回のMMステップを実行する。
• 最大45,000件の完全順序を含む合成データ上で、平均二乗誤差（MSE）と実行時間を用いてGMMとEMMを比較する。

実験結果

リサーチクエスチョン

• RQ1 m ≤ 2k−1の代替案が存在する場合、k個のPlackett-Luceモデルの混合は同定可能か？
• RQ2 kとmのどの値の組み合わせにおいて、k-Plackett-Luceモデルが一般に同定可能か？
• RQ3 GMMに基づくアルゴリズムは、2成分Plackett-Luce混合モデルの学習において一貫的かつ効率的に行えるか？
• RQ4 大規模な順序データにおいて、GMMアルゴリズムはEMMアルゴリズムと比べて計算速度と統計的効率の両面で優れているか？
• RQ5 標本サイズが増加するにつれて、GMMアルゴリズムは真のパrameterに収束するか、理論的一貫性が検証されるか？

主な発見

• m ≤ 2k−1の代替案が存在する場合、k個のPlackett-Luceモデルの混合は非同定可能であり、k=2の場合にその境界がタイトである。
• m ≥ 6のとき、k ≤ ⌊(m−2)/2⌋! であればk-Plackett-Luceモデルは一般に同定可能であり、高次元設定では非同定性がまれであることを示す。
• 提案されたGMMアルゴリズムは一貫性を示す：順序付けの数nが増加するにつれて、推定パrameterは真のパrameterに確率的に収束する。
• 最大2,000件の順序付けデータに対して、GMMアルゴリズムはEMMよりも著しく高速であり、実行時間の増加率もはるかに小さい。
• n > 1,000のとき、GMMアルゴリズムはEMMよりも低い平均二乗誤差（MSE）を達成しており、大規模データセットにおける優れた統計的効率性を示す。
• 最大45,000件の順序付けデータに対して、GMMアルゴリズムのMSEはnの増加に伴い減少し、真の値への収束を確認し、一貫性定理の妥当性を検証する。