[論文レビュー] Predicting Preference Flips in Commerce Search

Or Sheffet, Nina Mishra+1 more|arXiv (Cornell University)|Jun 27, 2012

Information Retrieval and Search Behavior参考文献 21被引用数 5

ひとこと要約

本稿では、特徴量をアイテム上のマルコフ連鎖としてモデル化することで、文脈に応じた動的順序付けに基づく好みの逆転を捉える、新たなランク付けフレームワーク「ランダムショッパー・モデル」を紹介する。このモデルは経験的リスク最小化により学習され、回帰やリストワイズ順序付けといった従来のスコアベース手法よりも、商業検索ログにおいて優れた性能を発揮する。

ABSTRACT

Traditional approaches to ranking in web search follow the paradigm of rank-by-score: a learned function gives each query-URL combination an absolute score and URLs are ranked according to this score. This paradigm ensures that if the score of one URL is better than another then one will always be ranked higher than the other. Scoring contradicts prior work in behavioral economics that showed that users' preferences between two items depend not only on the items but also on the presented alternatives. Thus, for the same query, users' preference between items A and B depends on the presence/absence of item C. We propose a new model of ranking, the Random Shopper Model, that allows and explains such behavior. In this model, each feature is viewed as a Markov chain over the items to be ranked, and the goal is to find a weighting of the features that best reflects their importance. We show that our model can be learned under the empirical risk minimization framework, and give an efficient learning algorithm. Experiments on commerce search logs demonstrate that our algorithm outperforms scoring-based approaches including regression and listwise ranking.

研究の動機と目的

• 文脈に関係なく固定された好みを仮定する従来のスコア順位付けモデルの制限を解消すること。
• アイテムCの存在によってアイテムAとBの順位が入れ替わるような、好みの逆転を確率的フレームワークを用いてモデル化すること。
• 行動経済学で観察される文脈依存的好みのダイナミクスを反映する学習可能な順位付けモデルを開発すること。
• 非推移的かつ文脈依存的なユーザーの好みを捉えることで、商業検索の順位付けを向上させること。
• 提案されたモデルが、従来のスコアベースの学習順位付けアプローチを上回ることを実証すること。

提案手法

• ランダムショッパー・モデルは、順位付け対象のアイテムの集合上での各特徴量をマルコフ連鎖として扱い、1つのアイテムから別のアイテムへの遷移確率をモデル化する。
• 各特徴量がユーザーの好みの順序付けに与える影響の重要度を最もよく反映する特徴量重みを学習する。
• 順位付け問題を経験的リスク最小化として定式化し、検索ログに観察された好みの逆転と整合するように最適化する。
• 提案されたフレームワーク下で最適化問題を解くための効率的な学習アルゴリズムを開発する。
• 全セットの代替アイテムが提示されていることに依存して、アイテム間の相対順位が変化する非推移的好みをモデルが捉える。
• 実際の商業検索ログを用いて、好みの逆転を予測する特徴量重みを学習する。

実験結果

リサーチクエスチョン

• RQ1 2つのアイテムの相対順位が第3のアイテムの存在によって変化する場合に、順位付けモデルがその好みの逆転を捉えることができるか？
• RQ2 行動経済学で観察される文脈依存的ユーザー好みを反映できる機械学習モデルはどのように設計できるか？
• RQ3 特徴量のマルコフ連鎖ベースのモデルは、商業検索において従来のスコアベース順位付けモデルをどの程度上回るか？
• RQ4 検索結果における動的好み順序付けを反映する最適な特徴量重みの学習方法は何か？
• RQ5 本稿で提案するモデルは、回帰やリストワイズ順位付けのベースラインと比較して、実世界の商業データにおける順位付けの正確性でどの程度優れているか？

主な発見

• ランダムショッパー・モデルは、アイテムCの存在に応じてアイテムAとBのユーザー好みが変化する商業検索における好みの逆転を効果的に捉えている。
• 本モデルは、実際の商業検索ログにおいて、回帰やリストワイズ順位付けといった従来のスコアベース手法を上回っている。
• 提案されたフレームワーク下での経験的リスク最小化により、文脈的重要度を反映する特徴量重みの有効な学習が可能である。
• マルコフ連鎖の定式化により、非推移的好みを反映する動的かつ文脈に敏感な順位付けが可能である。
• 学習アルゴリズムは効率的かつスケーラブルであり、大規模な商業検索アプリケーションに実用的である。
• 実験により、とくに好みの逆転が生じる状況において、本モデルがベースラインを上回る高い順位付けの正確性を達成していることが示された。