[논문 리뷰] Iterative Ranking from Pair-wise Comparisons

Sahand Negahban, Sewoong Oh외 1명|arXiv (Cornell University)|2012. 09. 08.

Game Theory and Voting Systems참고 문헌 21인용 수 171

한 줄 요약

이 논문은 쌍별 비교를 비교 그래프 위의 랜덤 워크로 모델링하는 반복적 순위 집계 알고리즘을 제안한다. 여기서 객체 점수는 워크의 정적 분포에 해당한다. 이 방법은 모델에 종속되지 않지만, Bradley-Terry-Luce(BTL) 모델 점수를 추정할 때 순서적으로 최적의 표본 복잡도를 달성하며, 실험적으로 Ammar와 Shah의 알고리즘을 포함한 이전 방법들보다 뛰어난 성능을 보였다.

ABSTRACT

The question of aggregating pairwise comparisons to obtain a global ranking over a collection of objects has been of interest for a very long time: be it ranking of online gamers (e.g. MSR's TrueSkill system) and chess players, aggregating social opinions, or deciding which product to sell based on transactions. In most settings, in addition to obtaining ranking, finding 'scores' for each object (e.g. player's rating) is of interest to understanding the intensity of the preferences. In this paper, we propose a novel iterative rank aggregation algorithm for discovering scores for objects from pairwise comparisons. The algorithm has a natural random walk interpretation over the graph of objects with edges present between two objects if they are compared; the scores turn out to be the stationary probability of this random walk. The algorithm is model independent. To establish the efficacy of our method, however, we consider the popular Bradley-Terry-Luce (BTL) model in which each object has an associated score which determines the probabilistic outcomes of pairwise comparisons between objects. We bound the finite sample error rates between the scores assumed by the BTL model and those estimated by our algorithm. This, in essence, leads to order-optimal dependence on the number of samples required to learn the scores well by our algorithm. Indeed, the experimental evaluation shows that our (model independent) algorithm performs as well as the Maximum Likelihood Estimator of the BTL model and outperforms a recently proposed algorithm by Ammar and Shah [1].

연구 동기 및 목표

• 쌍별 비교 기반의 모델 독립적 반복 알고리즘을 개발하는 것.
• 추정 점수와 진짜 BTL 모델 점수 간의 유한 표본 오차 한계를 이론적으로 확립하는 것.
• 점수 추정에서 순서적으로 최적의 표본 복잡도를 달성하여 정확한 결과를 얻기 위해 필요한 비교 수를 최소화하는 것.
• BTL 모델 하에서 최대우도推定기와 경쟁 가능한 성능을 보이는지 확인하는 것.
• 최근에 제안된 최첨단 알고리즘인 Ammar와 Shah의 방법과 비교해 실증적으로 슈퍼리어리티를 입증하는 것.

제안 방법

• 쌍별 비교를 방향 그래프로 모델링하며, 노드는 객체를 나타내고 간선은 그들 간의 비교를 나타낸다.
• 이 그래프 위에 랜덤 워크를 정의하며, 전이 확률은 비교 빈도에서 유도된다.
• 객체 점수는 이 랜덤 워크의 정적 분포로 추정되며, 이는 안정적인 순위로 수렴함을 보장한다.
• 이 방법은 본질적으로 반복적이며, 각 단계에서 현재의 비교 통계를 사용해 점수 추정치를 갱신한다.
• 이론적 분석을 통해 농도 부등식을 이용해 알고리즘의 점수와 진짜 BTL 점수 간의 추정 오차를 한계화한다.
• 이 알고리즘은 BTL 분포를 명시적으로 모델링할 필요가 없어, 비모수적 가정을 초월해 적용 가능하다.

실험 결과

연구 질문

• RQ1 모델 독립적 반복 알고리즘이 BTL 모델 하에서 최대우도推정기와 유사한 유한 표본 오차율을 달성할 수 있는가?
• RQ2 제안된 방법이 정확한 점수 추정을 위해 비교 횟수에 대해 순서적으로 최적의 의존성을 보이는가?
• RQ3 실증적으로 Ammar와 Shah의 방법과 같은 최첨단 방법들과 비교해 이 알고리즘의 성능은 어떠한가?
• RQ4 비교 그래프의 랜덤 워크의 정적 분포가 원칙적이고 효과적인 점수 추정 수단이 될 수 있는가?
• RQ5 반복적인 점수 갱신의 수렴성과 정확성에 대한 이론적 근거는 무엇인가?

주요 결과

• 제안된 알고리즘은 순서적으로 최적의 표본 복잡도를 달성하여, 필요한 비교 수가 원하는 추정 정확도에 따라 최적으로 스케일링됨을 보였다.
• 이론적 한계는 추정 점수와 진짜 BTL 점수 간의 유한 표본 오차가 정보 이론적 하한선과 동일한 속도로 감소함을 보여주었다.
• 실증적으로 이 알고리즘은 BTL 모델의 최대우도推정기와 동일한 수준의 점수 추정 정확도를 보였다.
• 합성 및 실제 비교 데이터셋에서, 최근에 제안된 Ammar와 Shah의 알고리즘을 모두 초월하는 성능을 보였다.
• 비교 그래프의 랜덤 워크의 정적 분포는 강건하고 해석 가능한 점수 추정 수단을 제공한다.
• 이 알고리즘의 성능은 다양한 비교 그래프 조밀도와 비교 노이즈 수준에서 안정적이고 수렴성이 확보되어 있었다.