[論文レビュー] Learning Mixed Membership Mallows Models from Pairwise Comparisons

Weicong Ding, Prakash Ishwar+1 more|arXiv (Cornell University)|Apr 3, 2015

Economic and Environmental Valuation参考文献 21被引用数 11

ひとこと要約

本稿では、ユーザーを潜在的な Mallows 成分の確率的混合として扱うことで、ペアワイズ比較から多様なユーザーの好みをモデル化する新しいフレームワーク、Mixed Membership Mallows Models (M4) を提案する。ユーザーを「文書」、ペアワイズ比較を「単語」とみなすトピックモデルの類似性を活用し、凸多角形の極端な点同定による堅牢な手法を用いて基準順位を推定する、証明可能に一貫した多項式時間のアルゴリズムを開発した。実世界の好みデータにおいて、最先端の予測性能を達成した。

ABSTRACT

We propose a novel parameterized family of Mixed Membership Mallows Models (M4) to account for variability in pairwise comparisons generated by a heterogeneous population of noisy and inconsistent users. M4 models individual preferences as a user-specific probabilistic mixture of shared latent Mallows components. Our key algorithmic insight for estimation is to establish a statistical connection between M4 and topic models by viewing pairwise comparisons as words, and users as documents. This key insight leads us to explore Mallows components with a separable structure and leverage recent advances in separable topic discovery. While separability appears to be overly restrictive, we nevertheless show that it is an inevitable outcome of a relatively small number of latent Mallows components in a world of large number of items. We then develop an algorithm based on robust extreme-point identification of convex polygons to learn the reference rankings, and is provably consistent with polynomial sample complexity guarantees. We demonstrate that our new model is empirically competitive with the current state-of-the-art approaches in predicting real-world preferences.

研究の動機と目的

• 大規模なペアワイズ比較データにおける、多様でノイズが多く、一貫性のないユーザーの好みをモデル化すること。
• ペアワイズ比較の文脈において、混合メンバーシップ Mallows モデルのための証明可能で効率的な推定手法の欠如に対処すること。
• M4 とトピックモデルの間の統計的関係を確立し、分離可能なトピック発見手法の利用を可能にすること。
• 多項式的サンプル複雑性を持つ、Mallows の基準順位の一貫した推定のための幾何的アルゴリズムを開発すること。
• 実世界の好みの予測において、最先端の手法と比較して M4 の優位性を実証的に検証すること。

提案手法

• ペアワイズ比較をトピックモデルの枠組みにマッピングし、ユーザーを「文書」、比較を「単語」、Mallows 成分を「トピック」とみなす。
• Mallows 成分に対して近似的な分離性条件を導入し、アイテム数が潜在的成分数に対して十分に大きい場合には、これが自然に満たされることを示した。
• 凸多角形の極端な点同定を用いて、Mallows 成分の基準順位を推定し、正確な分離性を有限のずれに一般化した。
• 分離可能な非負値行列分解の最近の進展を活用し、多項式的サンプルおよび計算複雑性で Mallows 成分のパラメータを証明可能に回復した。
• ディリクレ事前分布を用いたベイズ推論により、各ユーザーの混合重みを推定し、評価のための尤度近似にギブスサンプリングを用いた。
• 実世界のデータにモデルを適用するため、ユーザーの評価をペアワイズ比較に変換し、ホールドアウト尤度と RMSE を用いて評価した。

実験結果

リサーチクエスチョン

• RQ1 Mallows 分布に基づく混合メンバーシップモデルは、ペアワイズ比較から得られる多様で一貫性のないユーザーの好みを効果的に捉えることができるか？
• RQ2 多項式的サンプル複雑性のもとで、混合メンバーシップ設定における Mallows 成分の証明可能に一貫した推定が可能か？
• RQ3 大規模なアイテム数・少数の成分設定において、Mallows 成分の近似的な分離性は自然に出現するか？ また、それをアルゴリズム的に活用可能か？
• RQ4 提案された M4 モデルは、実世界のユーザー好みの予測において、最先端の手法と比較してどのように優れているか？
• RQ5 トピックモデルの類似性は、スケーラブルで一貫性のある推論を可能にするように、好みモデルに効果的に拡張可能か？

主な発見

• 提案された M4 モデルは Movielens データセットにおいて優れた予測性能を示し、K の値に関わらず、トピックモデルに基づくベースライン（TM）を常に上回る正規化された予測尤度を達成した。
• 評価予測において、K=20 の場合、M4 は RMSE 0.8241 を達成し、TM ベースラインを上回り、ベンチマークの BPMF モデルと同等の性能を示した。
• 複数の評価指標において一貫した改善が得られたことから、ノイズが多く一貫性のないユーザー行動に対しても、モデルのロバスト性が裏付けられた。
• 理論的分析により、大規模なアイテム数・少数の成分設定では、近似的な分離性が避けがたく自然に生じることを示した。これにより、モデルの構造的仮定が正当化された。
• アルゴリズムは多項式的サンプルおよび計算複雑性のもとで証明可能に一貫性を有し、実世界のデータからスケーラブルに学習可能であることを示した。
• 凸多角形の極端な点同定に基づく幾何的アプローチにより、正確な分離性を近似的な設定に一般化でき、基準順位の信頼性ある推定が可能になった。