[論文レビュー] Learning Mixtures of Plackett-Luce Models from Structured Partial Orders

Zhibing Zhao, Lirong Xia|arXiv (Cornell University)|Oct 25, 2019

Economic and Environmental Valuation被引用数 8

ひとこと要約

本稿では、一般化モーメント法（GMM）アルゴリズムを用いて、順位付けされた上位-$l$、$l$-ウェイ、選択データといった多様な構造的部分順序から、混合Plackett-Luceモデルを統一的統計モデルとして学習する手法を提案する。理論的同定可能性条件を確立し、たとえば上位3位まで順位付けされたデータや上位2位＋2ウェイデータなど、特定の組み合わせ下で2つのPlackett-Luceモデルの混合が同定可能であることを証明。GMMを用いた一貫的かつ効率的なパラメータ推定が可能であり、合成データ上で優れた統計的・計算的トレードオフが確認された。

ABSTRACT

Mixtures of ranking models have been widely used for heterogeneous preferences. However, learning a mixture model is highly nontrivial, especially when the dataset consists of partial orders. In such cases, the parameter of the model may not be even identifiable. In this paper, we focus on three popular structures of partial orders: ranked top-$l_1$, $l_2$-way, and choice data over a subset of alternatives. We prove that when the dataset consists of combinations of ranked top-$l_1$ and $l_2$-way (or choice data over up to $l_2$ alternatives), mixture of $k$ Plackett-Luce models is not identifiable when $l_1+l_2\le 2k-1$ ($l_2$ is set to $1$ when there are no $l_2$-way orders). We also prove that under some combinations, including ranked top-$3$, ranked top-$2$ plus $2$-way, and choice data over up to $4$ alternatives, mixtures of two Plackett-Luce models are identifiable. Guided by our theoretical results, we propose efficient generalized method of moments (GMM) algorithms to learn mixtures of two Plackett-Luce models, which are proven consistent. Our experiments demonstrate the efficacy of our algorithms. Moreover, we show that when full rankings are available, learning from different marginal events (partial orders) provides tradeoffs between statistical efficiency and computational efficiency.

研究の動機と目的

• 順位付けされた上位-$l$、$l$-ウェイ、選択データといった異種の構造的部分順序から、混合Plackett-Luceモデルを学習する課題に対処すること。
• データが複数の部分順序タイプを組み合わせたものである場合に、$k$ 個のPlackett-Luceモデルの混合が同定可能となる理論的条件を確立すること。
• 多様な部分順序構造から2つのPlackett-Luceモデルの混合を学習するための効率的かつ一貫性のある一般化モーメント法（GMM）アルゴリズムを設計すること。
• 完全な線形順序とマージナル部分順序から学習する際の、統計的効率性と計算的効率性のトレードオフを評価すること。
• さまざまな部分順序構成下で、合成データ上での実験を通じて提案手法の有効性を示すこと。

提案手法

• 順位付けされた上位-$l$、$l$-ウェイ、選択-$l$ の構造的部分順序を混合Plackett-Luceフレームワーク内に統合する統一的統計モデルを提案する。
• ペアワイズ比較から導出されたモーメント条件を活用し、部分順序から2つのPlackett-Luceモデルの混合のパラメータを推定する一般化モーメント法（GMM）アルゴリズムを導入する。
• モーメント行列のランクを分析することで理論的同定可能性条件を導出し、$k=2$ の場合に $l_1 + l_2 > 2k - 1$ である限り、2つのPlackett-Luceモデルの混合が同定可能であることを証明。例として、上位3位まで順位付けされたデータや上位2位＋2ウェイデータが該当。
• 完全な線形順序からのマージナル事象を部分観測として用い、完全な順位付けが得られない状況下でも一貫した推定が可能であることを実現。
• 実世界のデータ収集シナリオを模倣するため、元の線形順序から部分順序をサンプリングする戦略を採用する。
• 提案手法のGMMアルゴリズムを、代替手法のGMMおよびELSR-Gibbs法と比較して、代替の数やサンプルサイズが異なる合成データセット上で実装・評価した。

実験結果

リサーチクエスチョン

• RQ1 データが順位付けされた上位-$l_1$ と $l_2$-ウェイ（または選択）部分順序の組み合わせである場合、$k$ 個のPlackett-Luceモデルの混合が同定可能となる条件は何か？
• RQ2 順位付けされた上位3位、上位2位＋2ウェイ、または4つの代替品からの選択データを含む構造的部分順序がある場合、2つのPlackett-Luceモデルの混合に対する一貫したパラメータ推定が可能か？
• RQ3 順位付けされた上位-$l$、$l$-ウェイ、選択-$l$ の各タイプの構造的部分順序は、パラメータ推定における統計的効率性においてどのように比較されるか？
• RQ4 完全な線形順序から学習する場合とマージナル部分順序から学習する場合の、統計的効率性と計算的効率性のトレードオフは何か？
• RQ5 GMMベースのアルゴリズムは、一貫性と効率性を保ちながら、異種の部分順序データから効果的に学習を可能にするように適応可能か？

主な発見

• $l_1 + l_2 ≤ 2k - 1$ の場合、$l_1$ が上位-$l$ 順位、$l_2$ が $l$-ウェイまたは選択-$l$ 構造である場合、$k$ 個のPlackett-Luceモデルの混合は同定不可能である。
• 2つのPlackett-Luceモデルの混合は、上位3位まで順位付けされたデータ、上位2位＋2ウェイデータ、4つの代替品からの選択データなど、特定の組み合わせ下で同定可能である。
• 提案されたGMMアルゴリズムは、構造的部分順序からの2つのPlackett-Luceモデルの混合学習に関して、一貫性が保証されている。
• 実験では、部分順序からの学習において、提案手法のGMMアルゴリズムがベースライン手法よりも低いMSEを達成し、サンプルサイズが増加するに従いMSEがゼロに収束することが確認された。
• 完全な線形順序からの学習において、提案手法は状態アートのGMM手法[33]と同等の実行時間で、MSEにおいても優れた性能を示した。
• 大規模な部分順序データセット、特に選択-2,3,4構成下では、ELSR-Gibbsアルゴリズムは提案されたGMMアプローチに比べて著しく遅い。