[논문 리뷰] Learning Mixtures of Ranking Models

Pranjal Awasthi, Avrim Blum외 2명|arXiv (Cornell University)|2014. 10. 31.

Machine Learning and Algorithms참고 문헌 27인용 수 31

한 줄 요약

이 논문은 랭킹에서 상위-k 순서 패턴을 식별하기 위해 텐서 분해를 사용하여, 두 개의 Mallows 모델 혼합 모델의 파라미터를 학습하기 위한 이론적 보장을 갖춘 최초의 다항 시간 알고리즘을 제시한다. 임의의 혼합 비율에서도 중심 순열과 모델 파라미터의 증명 가능한 식별성과 정확한 복원이 가능하며, 기반 순열 간의 분리 조건이 필요하지 않다.

ABSTRACT

This work concerns learning probabilistic models for ranking data in a heterogeneous population. The specific problem we study is learning the parameters of a Mallows Mixture Model. Despite being widely studied, current heuristics for this problem do not have theoretical guarantees and can get stuck in bad local optima. We present the first polynomial time algorithm which provably learns the parameters of a mixture of two Mallows models. A key component of our algorithm is a novel use of tensor decomposition techniques to learn the top-k prefix in both the rankings. Before this work, even the question of identifiability in the case of a mixture of two Mallows models was unresolved.

연구 동기 및 목표

• 특히 이질적인 인구 집단에서 Mallows 모델 혼합 모델을 학습하기 위한 증명 가능하게 올바른 알고리즘이 부족한 문제를 해결하기 위해.
• 두 개의 Mallows 모델 혼합 모델에 대한 식별성 문제에 오랫동안 남아 있던 열린 문제를 해결하기 위해.
• 기본 순서 간의 분리 조건이 필요 없이 중심 순열, 가중치, 산산각도 파라미터를 모두 학습할 수 있는 방법을 개발하기 위해.
• 자연스러운 고차원 모멘트가 없는 랭킹 모델에 대해 텐서 분해 기법을 확장하기 위해.

제안 방법

• 쌍별 및 삼중별 랭킹 확률에서 생성된 세 번째 순서 모멘트 텐서를 활용하여 텐서 분해를 수행한다.
• 특히 첫 번째 위치에서 요소가 나타나는 확률에 기반하여 Mallows 모델에 대한 새로운 모멘트 벡터를 정의한다.
• Mallows 모델에서 요소 i가 위치 j에 있을 확률 f(i→j)를 정확하게 계산하기 위해 동적 프로그래밍을 사용한다.
• 유한 표본에서 발생하는 노이즈가 존재하는 상황에서도 혼합 모델의 기본 구조를 복원하기 위해 텐서 분해 알고리즘을 적용한다.
• 분해를 초기화하기 위해 위치 빈도 분포 기반의 클러스터링 유사 전략을 사용한 후, 파라미터 추정을 통해 정밀화한다.
• 표본 복잡도를 결정하기 위해 Chernoff 한계를 사용하여 위치 확률을 필요한 정확도 내에서 추정한다.

실험 결과

연구 질문

• RQ1 두 개의 Mallows 모델 혼합 모델은 i.i.d. 표본으로부터 유일하게 식별 가능한가?
• RQ2 두 개의 Mallows 모델 혼합 모델을 다항 시간 내에 증명 가능하게 보장된 조건으로 파라미터를 학습할 수 있는가?
• RQ3 자연스러운 고차원 모멘트가 없는 랭킹 모델에 대해 텐서 분해 기법을 적응시킬 수 있는가?
• RQ4 이 알고리즘이 두 구성 요소의 중심 랭킹 간에 강한 분리 조건이 없이도 작동하는가?

주요 결과

• 논문은 두 개의 Mallows 모델 혼합 모델이 다항 수의 i.i.d. 표본으로부터 유일하게 식별 가능하다는 것을 입증한다.
• 알고리즘은 중심 순열 π₁ 및 π₂를 정확히 학습하고, 파라미터 φ₁, φ₂, w₁, w₂를 n, (min{w₁,w₂})⁻¹, 1/φ₁(1−φ₁), 1/φ₂(1−φ₂), 및 1/ǫ에 대해 다항 시간 내에 ǫ 정확도로 학습한다.
• 모멘트 추정을 통해 상위-k 요소를 먼저 복원한 후 Lemma 10.2를 통해 확장함으로써, 전체 랭킹 π₁ 및 π₂의 정확한 복원을 달성한다.
• 표본 복잡도는 O(1/γ²w_min² log(n/δ))이며, 여기서 γ = min(gain(φ₁), gain(φ₂)) 이고 w_min = min(w₁,w₂) 이다.
• 이 알고리즘은 두 기저 순열 간의 분리 조건이 전혀 필요 없이 작동하므로, 임의의 혼합 비율에 적용 가능하다.
• 이론적 분석에 따르면, 진짜 혼합 분포와 추정된 혼합 분포 사이의 총 변동 거리가 ǫn²/φ_min 이하임을 보여주어 파라미터 추정 오차에 대해 강건함을 입증한다.