[논문 리뷰] Mallows Ranking Models: Maximum Likelihood Estimate and Regeneration

Wenpin Tang|arXiv (Cornell University)|2018. 08. 26.

Bayesian Modeling and Causal Inference인용 수 4

한 줄 요약

이 논문은 Mallows의 $\phi$ 모델에 대한 최대우도추정량(MLE)의 통계적 분석을 제공하고, 무한 일반화 Mallows(IGM) 모델의 재생성성 특성을 활용하여 자동 모델 크기 선택 알고리즘을 제안한다. 이 방법은 재생 기반 추론을 통해 최적의 상위-$t$ 순위 크기 $t$를 선택하며, 합성 데이터 및 실세계 데이터에서 뛰어난 수렴성과 과적합 감소를 보이며 뛰어난 성능을 나타낸다.

ABSTRACT

This paper is concerned with various Mallows ranking models. We study the statistical properties of the MLE of Mallows' $ϕ$ model. We also make connections of various Mallows ranking models, encompassing recent progress in mathematics. Motivated by the infinite top-$t$ ranking model, we propose an algorithm to select the model size $t$ automatically. The key idea relies on the renewal property of such an infinite random permutation. Our algorithm shows good performance on several data sets.

연구 동기 및 목표

• Mallows의 $\phi$ 모델에 대한 MLE의 통계적 성질, 특히 편향과 수렴 속도를 분석한다.
• 유한 및 무한 Mallows 순위 모델 간의 이론적 연결 고리를 구축하며, 특히 무한 일반화 Mallows(IGM) 모델을 중심으로 한다.
• 무한 순열의 재생성성 특성을 활용하여 IGM 모델에서 최적의 모델 크기 $t$를 자동으로 선택하는 알고리즘을 개발한다.
• 제안된 방법을 실세계 순위 데이터에 적용하여, 목표 순위 추정 측면에서 기존 방법보다 향상된 성능을 입증한다.

제안 방법

• 무한 무작위 순열의 재생성성 특성을 활용하여, 무한 일반화 Mallows(IGM) 모델에서 모델 크기 $t$를 자동으로 선택하는 재생 기반 알고리즘을 제안한다.
• IGM 모델를 매개변수화하기 위해 역표기법 $s_j(\pi)$를 사용하며, $\theta_j$는 순위에서 위치 $j$에 대한 확률을 조절한다.
• 유한 및 무한 Mallows 모델 모두에서 $\theta$, $\vec{\theta}$, $\pi_0$를 추정하기 위해 최대우도추정(MLE)을 적용한다.
• $\pi_0$가 알려진 경우 $\theta$의 MLE를 위해 볼록 최적화를 활용하고, 실세계 데이터에서 $\pi_0$ 추정을 위해 SORTR 히우리스틱을 사용한다.
• 단일 매개변수 IGM 모델과 유한 Mallows의 $\phi$ 모델에 대해 MLE의 편향과 수렴 속도에 대한 이론적 결과를 도출한다.
• 합성 데이터 및 실세계 데이터셋(대학 웹사이트 검색 및 순위 투표 데이터 포함)을 통해 모델과 알고리즘을 검증한다.

실험 결과

연구 질문

• RQ1 Mallows의 $\phi$ 모델에서 분산 매개변수 $\theta$의 MLE는 편향이 있는가? 그리고 그 수렴 속도는 어떻게 되는가?
• RQ2 중앙 순위 $\widehat{\pi}_0$의 MLE는 진짜 $\pi_0$로 얼마나 빠르게 수렴하는가?
• RQ3 무한 일반화 Mallows 모델의 모델 크기 $t$는 확률적 재생성성 특성을 활용해 자동으로 선택할 수 있는가?
• RQ4 제안된 자동 $t$-선택 알고리즘의 통계적 성능은 실세계 순위 데이터에서 어떻게 되는가?

주요 결과

• Mallows의 $\phi$ 모델에서 $\theta$의 MLE는 편향이 있으며, 적절한 정규 조건 하에서 수렴 속도가 확립된다.
• 단일 매개변수 IGM 모델에서 $\theta$의 MLE는 적절한 정규 조건 하에서 수렴 속도가 $O_p(n^{-1/2})$이다.
• 제안된 재생 기반 알고리즘이 순위 투표 데이터에 대해 $t=2$를 선택하였으며, 이로 인해 $\widehat{\theta}_1=0.46$, $\widehat{\theta}_2=0.54$, $\widehat{\pi}_0=(3|1|5|4|2)$를 도출하였다.
• 대학 웹사이트 검색 작업에서는 68%의 쿼리에서 $t=5$를 선택하였고, 평균 목표 순위는 6.8, 중앙순위는 3이었으며, 이는 이전 작업을 능가하는 성능을 보였다.
• $t=2$ 모델은 평균 순위 4.2와 중앙순위 2를 기록하여 낮은 모델 복잡도에도 불구하고 뛰어난 성능을 보였다.
• 홈페이지 데이터에서 작은 $t$ 값에서 평균 및 중앙순위가 낮은 것으로 나타나, 더 큰 $t$ 값에 비해 과적합이 감소함을 입증하였다.