[논문 리뷰] Learning Mixed Multinomial Logit Model from Ordinal Data

Sewoong Oh, Devavrat Shah|arXiv (Cornell University)|2014. 11. 01.

Statistical Methods and Bayesian Inference참고 문헌 26인용 수 14

한 줄 요약

이 논문은 부분적인 순서형 선호 데이터, 예를 들어 쌍별 비교와 같은 데이터로부터 r개의 다항 로지스틱 모델(MNL) 혼합 모델을 계산적으로 및 통계적으로 효율적으로 학습하기 위한 알고리즘을 제안한다. 이 알고리즘은 텐서 분해를 통해 구성 요소별 쌍별 주변확률을 복원한 후, 파arameter 추정을 위해 RankCentrality를 적용하며, 비일관성 조건 하에서 샘플 복잡도 $ r^{3.5}n^3(\text{log } n)^4 $ 를 달성한다. 이때 $ r \ll n^{2/7} $ 이다.

ABSTRACT

Motivated by generating personalized recommendations using ordinal (or preference) data, we study the question of learning a mixture of MultiNomial Logit (MNL) model, a parameterized class of distributions over permutations, from partial ordinal or preference data (e.g. pair-wise comparisons). Despite its long standing importance across disciplines including social choice, operations research and revenue management, little is known about this question. In case of single MNL models (no mixture), computationally and statistically tractable learning from pair-wise comparisons is feasible. However, even learning mixture with two MNL components is infeasible in general. Given this state of affairs, we seek conditions under which it is feasible to learn the mixture model in both computationally and statistically efficient manner. We present a sufficient condition as well as an efficient algorithm for learning mixed MNL models from partial preferences/comparisons data. In particular, a mixture of $r$ MNL components over $n$ objects can be learnt using samples whose size scales polynomially in $n$ and $r$ (concretely, $r^{3.5}n^3(log n)^4$, with $r\ll n^{2/7}$ when the model parameters are sufficiently incoherent). The algorithm has two phases: first, learn the pair-wise marginals for each component using tensor decomposition; second, learn the model parameters for each component using Rank Centrality introduced by Negahban et al. In the process of proving these results, we obtain a generalization of existing analysis for tensor decomposition to a more realistic regime where only partial information about each sample is available.

연구 동기 및 목표

• 부분적인 선호 데이터, 예를 들어 쌍별 비교와 같은 데이터로부터 혼합 MNL 모델을 학습하는 데 도전하는 것.
• 일반적인 혼합 모델의 비가역성에도 불구하고 계산적 및 통계적으로 가능한 조건을 규명하는 것.
• 부분적인 선호 관측치로부터 구성 요소별 매개변수를 복원하는 효율적인 이단계 알고리즘을 개발하는 것.
• 각 샘플의 부분적이고 노이즈가 있는 관측치에 대해 텐서 분해 이론을 일반화하는 것.
• n과 r에 대해 다항식적으로 스케일링되는 샘플 복잡도 경계를 확립하여 혼합 MNL 모델의 실용적 학습을 가능하게 하는 것.

제안 방법

• 부분적인 선호 데이터로부터 각 MNL 구성 요소의 쌍별 주변확률을 추정하기 위해 텐서 분해를 사용한다.
• 회복된 쌍별 주변확률을 사용하여 각 구성 요소의 MNL 매개변수를 추정하기 위해 RankCentrality를 적용한다.
• 각 구성 요소가 별개의 MNL 분포를 가지며 가중치 $ \mathbf{w}^{(a)} $ 와 혼합 가중치 $ q_a $ 를 갖는 잠재변수 모델로 혼합 모델을 모델링한다.
• RankCentrality 단계의 수렴을 제한하기 위해 스펙트럼 간격 분석을 도입하며, 이를 모델 매개변수의 비일관성과 연결한다.
• 전이 행렬의 스펙트럼 성질을 기반 모델 구조와 연결함으로써 이론적 보장을 확립한다.
• McDiarmid의 부등식과 농도 경계를 사용하여 무작위 그래프 모델 하에서 쌍별 주변확률의 추정 오차를 통제한다.

실험 결과

연구 질문

• RQ1 어떤 조건에서 r개의 MNL 모델 혼합 모델을 부분적인 순서형 데이터로부터 효율적으로 학습할 수 있는가?
• RQ2 혼합 모델 설정에서 각 샘플의 부분적 관측치를 처리할 수 있도록 텐서 분해를 어떻게 확장할 수 있는가?
• RQ3 혼합 모델 매개변수의 일致한 추정을 보장하기 위해 필요한 최소 샘플 크기는 얼마인가?
• RQ4 매개변수의 비일관성은 혼합 MNL 모델 학습의 가능성과 샘플 복잡도에 어떻게 영향을 미치는가?
• RQ5 텐서 분해와 RankCentrality의 조합이 이 맥락에서 최적의 통계적 및 계산적 효율성을 달성할 수 있는가?

주요 결과

• 제안된 알고리즘은 $ O(r^{3.5}n^3(\sum n)^4) $ 개의 샘플을 사용하여 n개의 객체에 대해 r개의 MNL 구성 요소 혼합 모델을 학습하며, 충분한 비일관성 조건 하에서 $ r \ll n^{2/7} $ 를 만족한다.
• 알고리즘은 구성 요소별 주변확률 추정(텐서 분해를 통해)과 매개변수 복원( RankCentrality를 통해)을 분리함으로써 통계적 및 계산적 효율성을 달성한다.
• 이 방법은 부분적 관측치가 있는 설정으로 텐서 분해 이론을 일반화하여 불완전한 선호 데이터로부터 강건한 추정을 가능하게 한다.
• RankCentrality에서 사용하는 전이 행렬의 스펙트럼 간격은 비일관성 조건을 사용하여 제한되며, 이는 진정한 매개변수로의 수렴을 보장한다.
• MNL 매개변수의 비일관성 조건이 다항식 샘플 복잡도에 대해 필수적이고 충분함을 입증하였으며, 농도 부등식을 통해 명시적인 경계를 유도하였다.
• Erdös-Rényi 무작위 그래프 모델에서의 실험적 검증을 통해 특이값과 비일관성이 잘 제어됨을 확인하였으며, 이는 이론적 경계를 지지한다.