[논문 리뷰] Rank Centrality: Ranking from Pair-wise Comparisons

Sahand Negahban, Sewoong Oh외 1명|arXiv (Cornell University)|2012. 09. 08.

Game Theory and Voting Systems참고 문헌 48인용 수 18

한 줄 요약

이 논문은 쌍별 비교 데이터로부터 점수와 순위를 추정하는 계산적으로 효율적인 알고리즘인 Rank Centrality를 소개한다. 이 알고리즘은 비교 그래프 위에서의 랜덤 워크를 기반으로 하며, 점수는 정(stationary) 확률에 해당한다. 비교 그래프의 스펙트럼 간격이 양수일 경우 브래드리-털리-루스(Bradley-Terry-Luce) 모델 하에서 최대우도추정과 비슷한 성능을 보이며, 거의 최적의 표본 복잡도를 달성한다.

ABSTRACT

The question of aggregating pair-wise comparisons to obtain a global ranking over a collection of objects has been of interest for a very long time: be it ranking of online gamers (e.g. MSR's TrueSkill system) and chess players, aggregating social opinions, or deciding which product to sell based on transactions. In most settings, in addition to obtaining a ranking, finding `scores' for each object (e.g. player's rating) is of interest for understanding the intensity of the preferences. In this paper, we propose Rank Centrality, an iterative rank aggregation algorithm for discovering scores for objects (or items) from pair-wise comparisons. The algorithm has a natural random walk interpretation over the graph of objects with an edge present between a pair of objects if they are compared; the score, which we call Rank Centrality, of an object turns out to be its stationary probability under this random walk. To study the efficacy of the algorithm, we consider the popular Bradley-Terry-Luce (BTL) model (equivalent to the Multinomial Logit (MNL) for pair-wise comparisons) in which each object has an associated score which determines the probabilistic outcomes of pair-wise comparisons between objects. In terms of the pair-wise marginal probabilities, which is the main subject of this paper, the MNL model and the BTL model are identical. We bound the finite sample error rates between the scores assumed by the BTL model and those estimated by our algorithm. In particular, the number of samples required to learn the score well with high probability depends on the structure of the comparison graph. When the Laplacian of the comparison graph has a strictly positive spectral gap, e.g. each item is compared to a subset of randomly chosen items, this leads to dependence on the number of samples that is nearly order-optimal.

연구 동기 및 목표

• 쌍별 비교 데이터로부터 점수와 순위를 추정하기 위한 계산적으로 단순하고 데이터 기반의 알고리즘을 개발하는 것.
• 데이터가 브래드리-털리-루스(Bradley-Terry-Luce, BTL) 모델을 따를 경우, 모델을 인지한 추정기와 동일한 성능을 보장하는 알고리즘 설계.
• 구조화된 비교 그래프 하에서 진짜 BTL 점수와 추정 점수 간의 유한 표본 오차율을 분석하는 것.
• 비교 그래프의 스펙트럼 성질에 따라 의존하는 표본 복잡도에 대한 이론적 보장을 확립하는 것.

제안 방법

• 쌍별 비교를 정점이 항목을 나타내고 간선이 비교를 나타내는 그래프 위에서의 랜덤 워크로 모델링한다.
• 항목의 점수는 이 랜덤 워크의 정(stationary) 분포로 정의되며, 그래프의 전이 행렬로부터 유도된다.
• 그래프 라플라시안의 스펙트럼 간격을 활용하여 추정 오차를 경계함으로써, 약한 조건 하에서도 수렴을 보장한다.
• 랜덤 그래프 모델 하에서 비교 행렬의 행동을 분석하기 위해 농도 불등식과 행렬 편차 경계(예: Tropp의 정리)를 사용한다.
• 스펙트럼 이론을 적용하기 위해 비교 행렬을 도수 정규화를 통해 대칭 형식으로 변환하는 데 기반한 이론적 분석.
• 알고리즘이 그래프의 희소성에 대해 강건하며, 비교가 노이즈가 있거나 완전하지 않을 경우에도 잘 작동함을 보였다.

실험 결과

연구 질문

• RQ1 간단하고 반복적인 알고리즘이 BTL 모델 하에서 최대우도추정과 유사한 추정 정확도를 달성할 수 있는가?
• RQ2 비교 그래프의 구조, 특히 스펙트럼 간격이 순위 추정의 표본 복잡도에 어떤 영향을 미치는가?
• RQ3 진짜 BTL 점수와 Rank Centrality로 추정한 점수 간의 유한 표본 오차율은 얼마인가?
• RQ4 비교가 희소하거나 무작위로 샘플링된 경우에도 알고리즘이 강력한 성능을 유지하는가?
• RQ5 실제 성능 평가에서 Rank Centrality는 다른 순위 매기기 알고리즘보다 정확도와 수렴 속도 측면에서 뛰어나게 작동하는가?

주요 결과

• 비교 그래프의 스펙트럼 간격이 엄격히 양수일 경우, Rank Centrality는 거의 순서 최적의 유한 표본 오차율을 달성한다.
• 주어진 오차 한계 내에서 점수를 추정하기 위해 필요한 비교 횟수는 스펙트럼 간격의 역수에 비례하며, 더 조밀하거나 잘 연결된 그래프일수록 성능이 향상된다.
• 평균 차수 $ d \geq C\log n $ 인 에르되시-레니(random graph) 모델 하에서, 알고리즘의 오차 경계는 $ O\left(\sqrt{\frac{\log n}{d}}\right) $ 스케일링을 따른다.
• 합성 BTL 생성 데이터에 대한 실증 평가에서, Rank Centrality는 점수 추정 정확도 측면에서 최대우도추정기와 동등한 성능을 보였다.
• 희소 비교 데이터에 대한 수렴 속도와 강건성 측면에서, 다른 인기 있는 순위 매기기 방법보다 알고리즘이 뛰어난 성능을 보였다.
• 행렬 농도 불등식, 특히 베르누이의 부등식과 Tropp의 행렬 체르노프 경계를 사용하여 비교 행렬의 편차를 제어하는 이론적 경계를 유도하였다.