[논문 리뷰] Bayesian inference from rank data

Øystein Sørensen, Valeria Vitelli외 2명|arXiv (Cornell University)|2014. 05. 30.

Game Theory and Voting Systems참고 문헌 31인용 수 2

한 줄 요약

이 논문은 어떤 오른쪽 불변 거리(metric)를 사용하든 계산적으로 효율적인 베이지안 추론 방법을 개발하여 상위-t 순위, 쌍별 비교, 시간에 따라 변하는 순위를 포함한 다양한 순위 데이터에 대한 영리한 분석을 가능하게 한다. 이 방법은 공통 순위 추정, 평가자 군집화, 시간에 따른 회귀 분석을 지원하며, 시뮬레이션, 실험 및 기준 데이터에서 성능이 입증되었다.

ABSTRACT

Modeling and analysis of rank data have received renewed interest in the era of big data, when recruited and volunteer assessors compare and rank objects to facilitate decision mak-ing in disparate areas, from politics to entertainment, from education to marketing. The Mallows rank model is among the most successful approaches, but its use has been limited to a particular form based on the Kendall distance, for which the normalizing constant has a simple analytic expression. In this paper, we develop computationally tractable methods for performing Bayesian inference in Mallows models with any right-invariant metric, thereby allowing for greatly extended flexibility. Our methods also allow to estimate consensus rank-ings for data in the form of top-t rankings, pairwise comparisons, and other linear orderings. In addition, clustering via mixtures allows to find substructure among assessors. Finally we construct a regression framework for ranks which vary over time. We illustrate and investigate our approach on simulated data, on performed experiments, and on benchmark data.

연구 동기 및 목표

• 기존의 켄달 거리(Kendall distance)를 초월해 어떤 오른쪽 불변 거리(metric)를 사용하든 멜로스 모델의 베이지안 추론을 확장하여 모델링의 유연성을 향상시키는 것.
• 상위-t 순위나 쌍별 비교와 같은 부분적 순위 데이터로부터 공통 순위를 정확하게 추정할 수 있도록 하는 것.
• 혼합 모델을 통해 서로 다른 순위 행동을 보이는 평가자 집단을 식별함으로써 평가자 군집화를 지원하는 것.
• 시간에 따라 변화하는 순위를 모델링하고 추론하기 위한 회귀 프레임워크를 개발하는 것.
• 빅데이터 환경에서 실제 순위 데이터에 스케일링 가능한 계산적으로 타당한 추론 방법을 제공하는 것.

제안 방법

• 순열군에서 오른쪽 불변 거리의 수학적 구조를 활용하여 멜로스 모델을 기존 켄달 거리 이외의 거리로 일반화하는 것.
• 순열 공간과 오른쪽 불변 기하학에 맞춘 효율적인 제안 분포를 사용하는 마르코프 체인 몬테 카를로(Markov Chain Monte Carlo, MCMC) 방법을 적용하는 것.
• 공통 순위 및 척도 파라미터에 대해 켤레 사전분포(conjugate prior) 설정을 통해 게이브스 샘플링(Gibbs sampling)을 통한 사후분포 계산을 가능하게 하는 것.
• 잠재적인 완전 순위를 모델링함으로써 상위-t 순위 및 쌍별 비교를 다루기 위해 데이터 증강 기법을 통합하는 것.
• 평가자들에 대한 유한한 혼합 모델(finite mixture models)을 적용하여 서로 다른 순위 행동을 보이는 하위집단을 탐지하는 것.
• 시간에 따라 변화하는 매개변수를 갖는 상태공간 모형(state-space formulation)을 통해 공통 순위가 시간에 따라 변화하는 동적 회귀 모델을 개발하는 것.

실험 결과

연구 질문

• RQ1 어떻게 멜로스 모델의 베이지안 추론을 켄달 거리 이외의 어떤 오른쪽 불변 거리로 일반화할 수 있는가?
• RQ2 상위-t 목록이나 쌍별 비교와 같은 부분적 순위 데이터로부터 공통 순위를 정확하게 추정할 수 있는가?
• RQ3 평가자 군집화를 통해 순위 데이터 내에 숨겨진 하위 구조를 어느 정도 드러낼 수 있는가?
• RQ4 시간에 따라 변화하는 선호도를 어떻게 회귀 프레임워크를 통해 모델링하고 추론할 수 있는가?
• RQ5 제안된 방법의 계산적 및 통계적 성능은 실제 및 시뮬레이션 순위 데이터에서 어떻게 평가되는가?

주요 결과

• 제안된 베이지안 프레임워크는 정규화 상수가 닫힌 형태로 주어지지 않더라도 어떤 오른쪽 불변 거리와도 함께 사용 가능한 효율적인 멜로스 모델 추론을 가능하게 한다.
• 상위-t 순위 및 쌍별 비교로부터조차도 정확한 공통 순위 추정이 가능하며, 시뮬레이션 연구에서 뛰어난 강인성을 입증하였다.
• 혼합 모델을 통한 군집화가 시뮬레이션 및 실제 데이터 모두에서 일관된 순위 행동을 보이는 평가자 하위집단을 성공적으로 식별하였다.
• 시간에 따라 변화하는 회귀 모델은 시간에 따라 변화하는 선호도를 잘 포착하였으며, 시간적 순위 추세가 있는 기준 데이터셋에서 뛰어난 적합도를 보였다.
• 계산 방법은 대규모 순위 데이터에 효과적으로 스케일링되며, MCMC 체인의 혼합이 잘 되고 실험 전반에서 사후 추정치가 안정적으로 수렴하였다.