[논문 리뷰] Probabilistic preference learning with the Mallows rank model

Valeria Vitelli, Øystein Sørensen외 3명|arXiv (Cornell University)|2014. 05. 30.

Game Theory and Voting Systems참고 문헌 64인용 수 18

한 줄 요약

이 논문은 마랄스 순위 모델에 대한 계산적으로 효율적인 베이지안 추론 프레임워크를 제안하며, 마르코프 체인 몬테 카를로(MCMC) 방법을 사용하여 임의의 오른쪽 불변 거리(distance)를 사용한 확률적 선호도 학습을 가능하게 한다. 이는 완전한, 부분적인, 쌍별 순위를 모두 지원하며, 불확실성과 이질적인 평가자들을 서로 다른 공통 순위를 가진 하위 집단으로 군집화할 수 있으며, 순위가 매겨지지 않은 항목이 공통 순위에 영향을 주지 않는다는 이론적 보장이 있다.

ABSTRACT

Ranking and comparing items is crucial for collecting information about preferences in many areas, from marketing to politics. The Mallows rank model is among the most successful approaches to analyse rank data, but its computational complexity has limited its use to a particular form based on Kendall distance. We develop new computationally tractable methods for Bayesian inference in Mallows models that work with any right-invariant distance. Our method performs inference on the consensus ranking of the items, also when based on partial rankings, such as top-k items or pairwise comparisons. We prove that items that none of the assessors has ranked do not influence the maximum a posteriori consensus ranking, and can therefore be ignored. When assessors are many or heterogeneous, we propose a mixture model for clustering them in homogeneous subgroups, with cluster-specific consensus rankings. We develop approximate stochastic algorithms that allow a fully probabilistic analysis, leading to coherent quantifications of uncertainties. We make probabilistic predictions on the class membership of assessors based on their ranking of just some items, and predict missing individual preferences, as needed in recommendation systems. We test our approach using several experimental and benchmark datasets.

연구 동기 및 목표

• 표준 켄달 거리 이외의 임의의 오른쪽 불변 거리에 대해 계산적으로 실현 가능한 마랄스 순위 모델의 베이지안 추론 방법을 개발하기 위해.
• 부분 데이터, 즉 상위-k 순위 및 쌍별 비교를 포함한 불완전한 데이터로부터 공통 순위에 대한 확률적 추론을 가능하게 하기 위해.
• 각각의 고유한 공통 순위와 분산 매개변수를 가진 하위 집단으로 평가자를 군집화하여 이질적인 평가자를 모델링하기 위해.
• 공통 순위, 클래스 소속 관계, 누락된 선호도의 불확실성을 후행 분포를 통해 정량화하기 위해.
• 모든 평가자가 어떤 항목도 순위를 매기지 않은 항목이 사후 분포에서 최대사후공통순위(MAP)에 영향을 주지 않는다는 것을 증명하기 위해, 이를 통해 데이터 압축과 효율성 향상을 가능하게 하기 위해.

제안 방법

• 임의의 오른쪽 불변 거리 함수를 가진 마랄스 분포에서 표본을 추출하기 위해 뛰어넘기-이동(Metropolis-Hastings) MCMC 알고리즘을 사용한다.
• 각각 고유한 공통 순위와 분산 매개변수를 가진 마랄스 분포의 혼합 모델을 사용하여 평가자를 동질적인 하위 집단으로 군집화한다.
• 확률적 일관성을 유지하면서도 대규모 데이터셋에 대한 추론을 스케일링하기 위해 근사적인 확률적 알고리즘을 적용한다.
• 제안 생성 과정에서 부분 순위 및 쌍별 비교로부터 유도된 제약 조건을 존중하는 새로운 MCMC 샘플러를 도입한다.
• 클러스터 비율에 대한 딜레트 분포 사전을 사용하고, 게비스 샘플링을 통해 클러스터 할당과 순위를 동시에 추론한다.
• 후행 분포에서 독립적인 표본을 저장하기 위해 희박화(Thinning)를 구현하여 MCMC 체인의 수렴성과 혼합성을 보장한다.

실험 결과

연구 질문

• RQ1 표준 켄달 거리 외의 임의의 오른쪽 불변 거리에 대해 마랄스 모델의 베이지안 추론이 계산적으로 실현 가능한가?
• RQ2 데이터가 불완전하거나 부분적인 경우 공통 순위의 불확실성을 어떻게 일관성 있게 정량화할 수 있는가?
• RQ3 평가자가 항목의 일부만 순위를 매겨도, 서로 다른 선호 패턴을 가진 하위 집단으로 의미적으로 군집화할 수 있는가?
• RQ4 사후 분포에서 순위가 매겨지지 않은 항목이 추정된 공통 순위에 어느 정도 영향을 미치는가?
• RQ5 모델은 부분 순위 또는 쌍별 비교 행동을 바탕으로 누락된 선호도를 예측하고 새로운 평가자를 부분적으로 분류할 수 있는가?

주요 결과

• 최대사후공통순위(MAP)는 어떤 평가자도 순위를 매기지 않은 항목에 대해 불변하며, 이는 효율적인 데이터 프루닝을 가능하게 한다.
• 제안된 MCMC 알고리즘은 시뮬레이션 및 실세계 데이터셋을 포함한 다양한 데이터셋에서 양호한 혼합성과 수렴성을 보였다. 이는 벤치마크 선호도 학습 과제에서도 성능을 발휘하였다.
• 클러스터별 공통 순위를 가진 혼합 모델은 이질적인 선호도 데이터에서 동질적인 하위 집단을 성공적으로 식별하였으며, 예측 정확도를 향상시켰다.
• 이 방법은 부분 순위 또는 쌍별 비교로부터조차도 누락된 선호도와 평가자의 클러스터 소속 관계에 대한 완전한 확률적 예측을 가능하게 하였다.
• 이 프레임워크는 공통 순위와 클래스 소속 관계의 불확실성 정량화를 지원하며, 이는 추천 시스템에서 신뢰할 수 있는 의사결정을 위해 필수적이다.
• 실험적 및 벤치마크 데이터셋에 대한 실증 평가 결과, 이 방법은 다양한 데이터 유형, 특히 상위-k 및 쌍별 선호도 데이터에 대해 강건성과 확장성을 입증하였다.