[論文レビュー] A Topic Modeling Approach to Ranking

Weicong Ding, Prakash Ishwar+1 more|arXiv (Cornell University)|Dec 11, 2014

Recommender Systems and Techniques参考文献 24被引用数 9

ひとこと要約

本稿では、ユーザーの対比較的好みを複数の共有された潜在的順位の確率的混合としてモデル化することで、多様で一貫性のないユーザー行動の一貫した推定を可能にする、新しいトピックモデリングアプローチを提案する。順位付け問題をトピックモデリングに正式に結びつけることで、証明可能な一貫性、多項式時間のサンプルおよび計算量の複雑さ、実データおよび準合成データセットにおいて競争力のある実験的性能を達成する。

ABSTRACT

We propose a topic modeling approach to the prediction of preferences in pairwise comparisons. We develop a new generative model for pairwise comparisons that accounts for multiple shared latent rankings that are prevalent in a population of users. This new model also captures inconsistent user behavior in a natural way. We show how the estimation of latent rankings in the new generative model can be formally reduced to the estimation of topics in a statistically equivalent topic modeling problem. We leverage recent advances in the topic modeling literature to develop an algorithm that can learn shared latent rankings with provable consistency as well as sample and computational complexity guarantees. We demonstrate that the new approach is empirically competitive with the current state-of-the-art approaches in predicting preferences on some semi-synthetic and real world datasets.

研究の動機と目的

• 既存の順位付けモデルが単一のグローバル順位またはユーザーの離散的な好みタイプへのクラスタリングを仮定するという限界を解消すること。
• ユーザーの好み行動を、集団の多様性と一貫性のない個人行動の両方を捉える、混合メンバーの潜在変数モデルとしてモデル化すること。
• 共有された潜在的順位の推定を一貫的に行うアルゴリズムを開発し、サンプルおよび計算量の複雑さに関する証明可能な境界を保証すること。
• 協調的好み予測タスクにおいて、最先端の手法と同等の実験的性能を示すこと。
• 順位付けとトピックモデリングの間の正式な接続を確立し、順位付け問題に高度なトピックモデリングアルゴリズムを適用可能にする。

提案手法

• 本稿では、各ユーザーの好みが複数の共有されたグローバル順位の確率的混合としてモデル化される、新しい対比較の生成モデルを導入する。
• 順位付け問題とトピックモデリング問題の間に正式な同値性を確立し、既存のトピックモデリング推論技術の使用を可能にする。
• 最近のトピックモデリングの進展（例：Arora et al., 2013; Ding et al., 2013b, 2014）を活用して、証明可能な一貫性を持つ潜在的順位の推定を実現する。
• ランダムプロジェクションと凸緩和に基づく新しいアルゴリズムを開発し、多項式時間のサンプルおよび計算量の複雑さを保証する。
• 2段階の手続きを採用する：まず、ランダムプロジェクション方式を用いて共有順位を推定する。次に、O(WK)の計算量を有する後処理ステップで推定値を精緻化する。
• 集中不等式と和集合の不等式を用いて理論的保証を導出し、ユーザー数とプロジェクション数の増加に伴い推定誤差が減少することを示す。

実験結果

リサーチクエスチョン

• RQ1 混合メンバーのユーザー対比較的好み順位をモデル化するためのトピックモデリングフレームワークは、実用的に適応可能か？
• RQ2 複数の共有順位の混合としてユーザーの好みをモデル化することは、単一順位モデルやクラスタリングベースのモデルと比較して、予測精度を向上させるか？
• RQ3 限られたユーザーごとの比較回数のもとで、共有された潜在的順位の推定に証明可能な一貫性と効率的な計算が達成可能か？
• RQ4 提案手法は、協調的好み予測タスクにおいて、最先端のアプローチと実験的に比較して優位性を示すか？
• RQ5 現実的な仮定のもとで、提案アルゴリズムの理論的サンプル複雑さと計算効率はいかほどか？

主な発見

• 提案モデルは、混合MallowsモデルやFJSモデルを特別なケースとして包含し、より一般化されたフレームワークを提供する。
• ユーザー数 M → ∞ の下で、各ユーザーが定数個の比較しか行わない場合でも、漸近的の一貫性を達成する。
• 多項式時間のサンプル複雑さと計算複雑さを保証し、W（アイテム数）、K（潜在的順位数）、およびモデルパラメータに依存する境界を持つ。
• 実験的評価では、準合成データおよび実世界データセットの両方で競争力のある性能を示し、現実のユーザー好みの多様性を効果的に捉える。
• 理論的分析により、やや厳しい条件下でも推定誤差が O(1/√M) で有界であることが示され、先行研究と比較して W に依存する部分が改善されている。
• サンプル複雑さの境界において、W に依存する部分を W^{1.5} から K√W に削減し、K ≪ W の場合に顕著な改善をもたらす。