[論文レビュー] Collaboratively Learning Preferences from Ordinal Data

Sewoong Oh, Kiran Koshy Thekumparampil+1 more|arXiv (Cornell University)|Jun 26, 2015

Sparse and Compressive Sensing Techniques参考文献 22被引用数 19

ひとこと要約

本稿は、2つの設定（共同順位付けとバンドル選択モデル）において、順序データから低ランクの好み行列を共同で学習するための核ノルム最小化の凸緩和を提案する。有限標本における誤差バウンドを証明することで、情報理論的下界まで対数要因を除いて一致する最小最大最適性を確立する。

ABSTRACT

In applications such as recommendation systems and revenue management, it is important to predict preferences on items that have not been seen by a user or predict outcomes of comparisons among those that have never been compared. A popular discrete choice model of multinomial logit model captures the structure of the hidden preferences with a low-rank matrix. In order to predict the preferences, we want to learn the underlying model from noisy observations of the low-rank matrix, collected as revealed preferences in various forms of ordinal data. A natural approach to learn such a model is to solve a convex relaxation of nuclear norm minimization. We present the convex relaxation approach in two contexts of interest: collaborative ranking and bundled choice modeling. In both cases, we show that the convex relaxation is minimax optimal. We prove an upper bound on the resulting error with finite samples, and provide a matching information-theoretic lower bound.

研究の動機と目的

• 推薦および収益管理システムにおける未観測のアイテムや未観測のアイテム対に対するユーザーの好みを予測する課題に対処する。
• ユーザーとアイテム間の潜在的な類似性を捉えるために、多項ロジスティックモデル（MNL）を用いてユーザーの好みを低ランク構造でモデル化する。
• 順序データ（順位付けや選択など）として得られるノイズの多い部分観測から、元の好み行列を学習する。
• 共同順位付けとバンドル選択モデルの両設定において、標本の複雑さと推定誤差に関する理論的保証を提供する。
• 推定誤差の上界と下界を一致させることで、提案された凸緩和手法の最小最大最適性を確立する。

提案手法

• MNLモデルを用いて、順序観測からの低ランク行列回復として好み学習問題を定式化する。
• 核ノルム最小化の凸緩和を適用し、明らかにされた好みから低ランクの好み行列を推定する。
• MNLモデルのランダムユーティリティモデル（RUM）解釈を用いて、推定誤差の理論的バウンドを導出する。
• 集中不等式（ホーフィングの不等式およびレヴィの不等式）を用いて、推定行列の行和および列和の逸脱を制御する。
• フロベニウスノルムが制御され、要素が有界な行列の集合を構築し、推定誤差の下界を導出する。
• マクディアーミドの不等式を用いて、モデルの仮定の下で推定行列が真の行列の周囲に高確率で集中することを確立する。

実験結果

リサーチクエスチョン

• RQ1 核ノルム最小化の凸緩和は、順序データからの共同好み学習において最小最大最適な推定誤差を達成できるか？
• RQ2 提案された凸緩和手法の有限標本誤差率は、共同順位付けおよびバンドル選択モデル設定でどのように振る舞うか？
• RQ3 低ランク好みモデルにおける、ユーザー数、アイテム数、ランクのスケーリングに伴い、標本の複雑さはどのように変化するか？
• RQ4 提案手法は、共同順位付けおよびバンドル選択設定の両方で、情報理論的下界に達する推定誤差を達成できるか？
• RQ5 RUM解釈は、順序サンプリング下でのMNLモデルのタイトな理論的解析を可能にする役割を果たすか？

主な発見

• 提案された凸緩和手法は、共同順位付けおよびバンドル選択モデルの両方において最小最大最適性を達成し、情報理論的下界まで対数要因を除いて一致する。
• 推定量の有限標本誤差バウンドは、$ O\left(\sqrt{\frac{r(d_1 + d_2)}{n}} \log^{3/2}(d_1 d_2)\right) $ で上界が与えられ、ここで $ r $ はランク、$ d_1, d_2 $ は次元、$ n $ は観測数である。
• 一致する情報理論的下界が確立され、任意の推定量が提案手法よりも誤差率を改善できる可能性は、対数要因を除いて存在しないことが示された。
• 解析により、2つの異なるモデルパラメータ間のフロベニウスノルムの差が高確率で $ \frac{1}{2}\delta $ 以上であることが証明され、サンプリング機構下でのモデルの区別可能性が確認された。
• 本手法は、二項比較に限られた先行研究とは異なり、一般のサンプリングモデルを効果的に扱える。
• ランダム行列の集中不等式とMNLモデルのRUM解釈を用いた理論的保証により、推定誤差をタイトに制御できることが示された。