[論文レビュー] Learning from Comparisons and Choices

Sahand Negahban, Sewoong Oh+2 more|arXiv (Cornell University)|Apr 24, 2017

Recommender Systems and Techniques参考文献 89被引用数 12

ひとこと要約

本稿では、ユーザーの選択および比較データからマルチノミアルロジット（MNL）モデルのパラメータを学習するための凸緩和手法を提案し、推薦における協調的表現学習を可能にする。最小最大最適性を対数要因の範囲で確立し、サンプリンググラフのトポロジーが推定精度に与える影響を明らかにし、アンケートの設計指針を提示する。

ABSTRACT

When tracking user-specific online activities, each user's preference is revealed in the form of choices and comparisons. For example, a user's purchase history is a record of her choices, i.e. which item was chosen among a subset of offerings. A user's preferences can be observed either explicitly as in movie ratings or implicitly as in viewing times of news articles. Given such individualized ordinal data in the form of comparisons and choices, we address the problem of collaboratively learning representations of the users and the items. The learned features can be used to predict a user's preference of an unseen item to be used in recommendation systems. This also allows one to compute similarities among users and items to be used for categorization and search. Motivated by the empirical successes of the MultiNomial Logit (MNL) model in marketing and transportation, and also more recent successes in word embedding and crowdsourced image embedding, we pose this problem as learning the MNL model parameters that best explain the data. We propose a convex relaxation for learning the MNL model, and show that it is minimax optimal up to a logarithmic factor by comparing its performance to a fundamental lower bound. This characterizes the minimax sample complexity of the problem, and proves that the proposed estimator cannot be improved upon other than by a logarithmic factor. Further, the analysis identifies how the accuracy depends on the topology of sampling via the spectrum of the sampling graph. This provides a guideline for designing surveys when one can choose which items are to be compared. This is accompanied by numerical simulations on synthetic and real data sets, confirming our theoretical predictions.

研究の動機と目的

• 順序データ（選択や比較など）からユーザーおよびアイテムの表現の協調的学習を扱う。
• マーケティング、輸送、埋め込みタスクにおいて実務的に成功しているマルチノミアルロジット（MNL）フレームワークを用いてユーザーの好みをモデル化する。
• 統計的に最適（対数要因の範囲）なMNLパラメータ推定のための凸緩和を構築する。
• 問題の最小最大サンプル複雑度を特徴付け、サンプリンググラフの固有値的性質が推定精度に与える影響を同定する。
• 比較グラフのトポロジーが学習パフォーマンスに与える影響を分析することで、アンケートの設計原則を提供する。

提案手法

• 著者らは、観測されたユーザーの選択およびペアワイズ比較からMNLモデルのパラメータを推定する問題として、好みの学習問題を定式化する。
• 効率的かつ安定した最適化を可能にするために、MNL尤度最大化問題の凸緩和を導入する。
• サンプリンググラフ（どのアイテムが比較されたかを表す）の固有値的性質を活用して、推定誤差とサンプル複雑度を分析する。
• 理論的分析により、最小最大下界を導出し、提案された推定器がこの下界を対数要因の範囲で達成することを示す。
• グラフラプラシアンおよびスぺクトルギャップの考察を組み込み、サンプリング設計が学習精度に与える影響を定量化する。
• 合成および実世界のデータセットを用いた数値実験により、理論的考察の妥当性を検証し、さまざまなサンプリングトポロジーにおいても頑健な性能を示す。

実験結果

リサーチクエスチョン

• RQ1 選択および比較データからMNLモデルパラメータを学習する際の根本的統計的限界（最小最大サンプル複雑度）は何か？
• RQ2 サンプリンググラフのトポロジー（すなわち、どのアイテムが比較されたか）は、MNLパラメータ推定の精度にどのように影響するか？
• RQ3 MNL尤度の凸緩和は、対数要因の範囲で最小最大最適性を達成できるか？
• RQ4 第二小固有値（代数的連結度）を含む、サンプリンググラフのスペクトル的性質は、推定誤差にどの程度影響を与えるか？
• RQ5 サンプリンググラフ構造に基づいて、好みの学習パフォーマンスを向上させるために、どのようにアンケート設計を最適化できるか？

主な発見

• 提案されたMNLパラメータ推定の凸緩和は、対数要因の範囲で最小最大最適であり、統計的にほぼ最適であることが示された。
• 推定誤差はサンプリンググラフのスぺクトルギャップに依存し、ギャップが大きいほど収束が速くなり、精度が向上する。
• 問題の最小最大下界が導出され、他の推定器が提案手法を著しく上回ることは、対数要因の範囲を除いて不可能であることが示された。
• 数値シミュレーションにより、グラフトポロジーに依存する誤差の理論的予測が実際の状況でも成り立つことが確認され、特に合成および実世界のデータセットにおいて顕著であった。
• 分析により、サンプリンググラフのスペクトル的性質を最適化するように比較セットを選択することで、アンケートの構築に原理的かつ体系的な設計指針が得られるようになった。