[논문 리뷰] Efficient computation of rankings from pairwise comparisons

Michael Newman|arXiv (Cornell University)|2022. 06. 30.

Game Theory and Voting Systems인용 수 8

한 줄 요약

이 논문은 브래드리-테리 모델을 사용한 상대적 비교에서 순위를 계산하기 위한 새로운 반복 알고리즘을 제안한다. 기존 제르멜로 알고리즘보다 수렴 속도가 100배 이상 빠르며, 동일한 최대우도 추정치를 도출한다. 이 방법은 수렴 속도를 향상시키기 위해 업데이트 규칙을 재구성함으로써 정확도나 단순성에 손실 없이 성능을 향상시킨다.

ABSTRACT

We study the ranking of individuals, teams, or objects, based on pairwise comparisons between them, using the Bradley-Terry model. Estimates of rankings within this model are commonly made using a simple iterative algorithm first introduced by Zermelo almost a century ago. Here we describe an alternative and similarly simple iteration that provably returns identical results but does so much faster -- over a hundred times faster in some cases. We demonstrate this algorithm with applications to a range of example data sets and derive a number of results regarding its convergence.

연구 동기 및 목표

• 브래드리-테리 모델에서 최대우도 추정을 위한 제르멜로 알고리즘의 느린 수렴 문제를 해결하기 위해.
• 동일한 해 품질을 유지하면서 계산 효율성이 높은 대안을 개발하기 위해.
• 새로운 알고리즘이 제르멜로 방법과 동일한 유일한 최대우도 해로 수렴함을 증명하기 위해.
• 다양한 실세계 데이터셋에서 실용적인 속도 향상을 입증하기 위해.
• MAP 추정 및 비례가 허용되는 일반화된 브래드리-테리 모델로 방법을 확장하기 위해.

제안 방법

• 기존 제르멜로 공식을 대체할 새로운 반복 업데이트 규칙을 제안: $\pi_i' = \frac{\sum_j w_{ij} \pi_j / (\pi_i + \pi_j)}{\sum_j w_{ji} / (\pi_i + \pi_j)}$.
• 수렴을 보장하기 위해 미니마이제이션-맥시마이제이션(MM) 프레임워크에서 알고리즘을 유도하여 각 단계에서 로그우도가 단조적으로 증가함을 보장한다.
• 새로운 업데이트 규칙이 제르멜로 알고리즘과 동일한 유일한 최대우도 해로 수렴함을 증명한다.
• 일반화된 브래드리-테리 모델(타이 허용)과 표준 브래드리-테리 모델 양쪽에 모두 적용 가능하며, 매개변수 $\nu$를 통해 타이를 처리한다.
• 수렴 속도와 확장성 비교를 위해 스펙트럴 및 뉴턴 기반 방법을 벤치마크로 사용한다.
• 실세계 데이터셋을 대상으로 수치 실험을 수행하여 제르멜로 방법 대비 성능 향상을 검증한다.

실험 결과

연구 질문

• RQ1 최대우도 일致성을 유지하면서 제르멜로 알고리즘보다 수렴 속도가 현저히 빠른 새로운 반복 알고리즘을 설계할 수 있는가?
• RQ2 제안된 업데이트 규칙이 제르멜로 알고리즘과 동일한 고정점을 유지하여 동일한 순위를 도출하는가?
• RQ3 다양한 문제 크기에서 새로운 알고리즘의 수렴 속도가 제르멜로 알고리즘 및 뉴턴 방법과 비교해 어떻게 되는가?
• RQ4 일반화된 브래드리-테리 모델을 사용해 상대적 비교에서의 타이를 처리할 수 있는가?
• RQ5 희박한 비교 데이터를 가진 대규모 순위 산정 문제에 대해 새로운 알고리즘이 강건하고 효율적인가?

주요 결과

• 시험한 실세계 데이터셋에서 제르멜로 알고리즘 대비 제안된 알고리즘이 100배 이상 수렴 속도가 빠르며, 해 품질에 손실 없이 성능을 확보한다.
• 새로운 업데이트 규칙는 각 반복에서 로그우도를 증가시키며, 제르멜로 방법과 동일한 유일한 최대우도 해로 수렴함을 증명한다.
• 문제 크기에 따라 효율적으로 확장되며, 반복당 비용이 상대적 비교 수에 비례한다. 반면 뉴턴 방법은 $N^3$ 비례하여 확장성이 열 劣하다.
• 타이를 허용하는 일반화된 브래드리-테리 모델에 적용 가능하며, 타이 매개변수 $\nu$에 대한 대응 업데이트 규칙이 존재한다.
• 일반화된 알고리즘의 수렴성 또한 미니마이제이션-맥시마이제이션 프레임워크를 통해 증명되어 단조적 향상과 전역 수렴을 보장한다.
• 실증 결과는 스포츠, 소비자 선택, 지배 행동 연구 등 다양한 데이터셋에서 일관된 속도 향상이 있음을 보여준다.