[論文レビュー] Learning Mixed Multinomial Logit Model from Ordinal Data

Sewoong Oh, Devavrat Shah|arXiv (Cornell University)|Nov 1, 2014

Statistical Methods and Bayesian Inference参考文献 26被引用数 14

ひとこと要約

本稿では、部分的な順序付き選好データ（例：対比較）から r 個の Multinomial Logit (MNL) モデルの混合を学習する計算的・統計的に効率的なアルゴリズムを提案する。テンソル分解を用いて成分ごとの対比較周辺確率を回復し、その後 RankCentrality を用いてパラメータ推定を行う。非一貫性条件のもとで、サンプル複雑度が $ r^{3.5}n^3(\text{log } n)^4 $ に抑えられ、$ r \ll n^{2/7} $ の条件下で成立する。

ABSTRACT

Motivated by generating personalized recommendations using ordinal (or preference) data, we study the question of learning a mixture of MultiNomial Logit (MNL) model, a parameterized class of distributions over permutations, from partial ordinal or preference data (e.g. pair-wise comparisons). Despite its long standing importance across disciplines including social choice, operations research and revenue management, little is known about this question. In case of single MNL models (no mixture), computationally and statistically tractable learning from pair-wise comparisons is feasible. However, even learning mixture with two MNL components is infeasible in general. Given this state of affairs, we seek conditions under which it is feasible to learn the mixture model in both computationally and statistically efficient manner. We present a sufficient condition as well as an efficient algorithm for learning mixed MNL models from partial preferences/comparisons data. In particular, a mixture of $r$ MNL components over $n$ objects can be learnt using samples whose size scales polynomially in $n$ and $r$ (concretely, $r^{3.5}n^3(log n)^4$, with $r\ll n^{2/7}$ when the model parameters are sufficiently incoherent). The algorithm has two phases: first, learn the pair-wise marginals for each component using tensor decomposition; second, learn the model parameters for each component using Rank Centrality introduced by Negahban et al. In the process of proving these results, we obtain a generalization of existing analysis for tensor decomposition to a more realistic regime where only partial information about each sample is available.

研究の動機と目的

• 部分的選好データ（例：対比較）から混合 MNL モデルを学習する課題に対処すること。
• 一般の混合モデルでは扱いにくいが、計算的・統計的に実行可能である条件を同定すること。
• 不完全な選好観測から成分固有のパラメータを回復する、効率的な二段階アルゴリズムを開発すること。
• 各サンプルの部分的でノイズのある観測を想定した、部分的観測下でのテンソル分解理論を一般化すること。
• n および r に対して多項式スケーリングするサンプル複雑度の境界を確立し、混合 MNL モデルの実用的学習を可能にすること。

提案手法

• 部分的選好データから各 MNL 成分の対比較周辺確率を推定するためにテンソル分解を用いる。
• 回復された対比較周辺確率を用いて、RankCentrality を適用し、各成分の MNL パラメータを推定する。
• 各成分が異なる MNL 分布に対応する潜在変数モデルとして混合モデルを定式化し、重み $ \mathbf{w}^{(a)} $ と混合重み $ q_a $ を導入する。
• RankCentrality ステップの収束を制御するため、スペクトルギャップ解析を導入し、モデルパラメータの非一貫性と関連付ける。
• 遷移行列のスペクトル特性と元のモデル構造との関係を示すことで、理論的保証を確立する。
• McDiarmid の不等式と集中不等式を用いて、ランダムグラフモデル下での対比較周辺確率の推定誤差を制御する。

実験結果

リサーチクエスチョン

• RQ1 r 個の MNL モデルの混合は、どのような条件下で部分的順序付きデータから効率的に学習可能か？
• RQ2 混合モデル設定下で、各サンプルの不完全または部分的観測を扱えるように、テンソル分解を拡張可能か？
• RQ3 混合モデルパラメータの一貫性推定を保証するための最小サンプルサイズは何か？
• RQ4 パラメータの非一貫性は、混合 MNL モデルの学習可能性とサンプル複雑度にどのように影響するか？
• RQ5 テンソル分解と RankCentrality の組み合わせは、この文脈で統計的・計算的最適性を達成可能か？

主な発見

• 提案アルゴリズムは、$ O(r^{3.5}n^3(∑n)^4) $ のサンプルを用いて、n 個のオブジェクト上での r 個の MNL 成分の混合を学習可能であり、十分な非一貫性のもとで $ r \ll n^{2/7} $ を満たす。
• テンソル分解による成分ごとの周辺確率推定と、RankCentrality によるパラメータ回復を分離することで、統計的・計算的効率性を達成する。
• 部分的観測下でも安定した推定が可能となるよう、テンソル分解理論を部分観測設定に一般化する。
• RankCentrality で用いる遷移行列のスペクトルギャップは、非一貫性条件を用いて制限され、真のパラメータへの収束を保証する。
• MNL パラメータの非一貫性条件が、多項式スケーリングのサンプル複雑度にとって必要かつ十分であることが示され、集中不等式を用いて明示的な境界が導出された。
• Erdös-Rényi ランダムグラフモデルにおける実験的検証により、特異値と非一貫性が良好に制御されていることが確認され、理論的境界が支持された。