[論文レビュー] Learning Mixtures of Ranking Models

Pranjal Awasthi, Avrim Blum+2 more|arXiv (Cornell University)|Oct 31, 2014

Machine Learning and Algorithms参考文献 27被引用数 31

ひとこと要約

本稿では、順序付きランキングの上位k位の順序パターンを特定するためにテンソル分解を用いることで、2つのマラウスモデルの混合に関する、理論的保証付きの最初の多項式時間アルゴリズムを提示する。任意の混合割合において、中央順列およびモデルパラメータの明示的同定と正確な回復が保証され、ベースの順列間の分離を要しない。

ABSTRACT

This work concerns learning probabilistic models for ranking data in a heterogeneous population. The specific problem we study is learning the parameters of a Mallows Mixture Model. Despite being widely studied, current heuristics for this problem do not have theoretical guarantees and can get stuck in bad local optima. We present the first polynomial time algorithm which provably learns the parameters of a mixture of two Mallows models. A key component of our algorithm is a novel use of tensor decomposition techniques to learn the top-k prefix in both the rankings. Before this work, even the question of identifiability in the case of a mixture of two Mallows models was unresolved.

研究の動機と目的

• 特に多様な集団を対象としたマラウスモデルの混合を学習するための理論的に正しいアルゴリズムの不足に対処すること。
• 2つのマラウスモデルの混合に関する長年の未解決問題である同定可能性の問題を解消すること。
• 基礎となる順列の間の分離を要件としない、中央順列、重み、分散パラメータを学習する手法の開発。
• 自然な高階モーメントを欠く順序モデルに、テンソル分解技術を応用すること。

提案手法

• ペアワイズおよび三重ワイズの順序確率から構築された三階モーメントテンソルを用いて、テンソル分解を実行する。
• 特に最初の順位における要素の出現確率に基づき、マラウスモデル用の新規モーメントベクトルを定義する。
• 動的計画法を用いて、マラウスモデルにおける要素iが順位jに位置する確率f(i→j)の正確な確率を計算する。
• 有限サンプルからのノイズが存在する状況でも、混合の背後構造を回復できるように、テンソル分解アルゴリズムを適用する。
• 分解の初期化に、順位頻度分布に基づくクラスタリングに類似した戦略を採用し、その後、パラメータ推定による精錬を実施する。
• チェルノフの不等式を用いて、必要な精度内での順位確率推定のためのサンプル必要量を決定する。

実験結果

リサーチクエスチョン

• RQ1 i.i.d.サンプルから、2つのマラウスモデルの混合は一意に同定可能か？
• RQ2 2つのマラウスモデルの混合パラメータを、理論的保証付きで多項式時間で学習できるか？
• RQ3 自然な高階モーメントを欠く順序モデルに、テンソル分解技術を適応可能か？
• RQ4 2つの成分の中央順列間に強い分離がなくても、アルゴリズムは動作するか？

主な発見

• 本稿では、多項式回のi.i.d.サンプルから、2つのマラウスモデルの混合が一意に同定可能であることを確立する。
• アルゴリズムは中央順列π₁およびπ₂を正確に学習でき、φ₁, φ₂, w₁, w₂をn、(min{w₁,w₂})⁻¹、1/φ₁(1−φ₁)、1/φ₂(1−φ₂)、および1/ǫの多項式時間でǫ-精度で学習する。
• モーメント推定により上位k個の要素を回復した後、補題10.2を用いて全順列π₁およびπ₂を正確に回復する。
• サンプル必要量はO(1/γ²w_min² log(n/δ))であり、ここでγ = min(gain(φ₁), gain(φ₂))、w_min = min(w₁,w₂)である。
• 2つの基本順列間に分離条件を一切要せず、任意の混合に適用可能である。
• 理論的解析により、真の混合分布と推定分布との全変動距離がǫn²/φ_min以下であることが示され、パラメータ推定誤差に対してロバストである。