[논문 리뷰] Dynamic Ranking with the BTL Model: A Nearest Neighbor based Rank Centrality Method

Eglantine Karlé, Hemant Tyagi|arXiv (Cornell University)|2021. 09. 28.

Topological and Geometric Data Analysis참고 문헌 25인용 수 4

한 줄 요약

이 논문은 시간에 따라 변화하는 쌍별 비교 그래프로부터 시간에 따라 변화하는 항목 강도를 추정하기 위해 최근접 이웃 가중 Rank Centrality 방법을 사용하는 동적 순위 매기기 방법을 제안한다. 이는 Bradley-Terry-Luce (BTL) 모델 기반으로 하며, Erdös-Rényi 그래프 가정 하에 비점근적 $ε_2$ 및 $ε_∞$ 오차 경계를 확립하여 시간에 따라 변화하는 항목 순위를 추정하는 데 일致성을 입증한다.

ABSTRACT

Many applications such as recommendation systems or sports tournaments involve pairwise comparisons within a collection of $n$ items, the goal being to aggregate the binary outcomes of the comparisons in order to recover the latent strength and/or global ranking of the items. In recent years, this problem has received significant interest from a theoretical perspective with a number of methods being proposed, along with associated statistical guarantees under the assumption of a suitable generative model. While these results typically collect the pairwise comparisons as one comparison graph $G$, however in many applications - such as the outcomes of soccer matches during a tournament - the nature of pairwise outcomes can evolve with time. Theoretical results for such a dynamic setting are relatively limited compared to the aforementioned static setting. We study in this paper an extension of the classic BTL (Bradley-Terry-Luce) model for the static setting to our dynamic setup under the assumption that the probabilities of the pairwise outcomes evolve smoothly over the time domain $[0,1]$. Given a sequence of comparison graphs $(G_{t'})_{t' \\in \\mathcal{T}}$ on a regular grid $\\mathcal{T} \\subset [0,1]$, we aim at recovering the latent strengths of the items $w_t^* \\in \\mathbb{R}^n$ at any time $t \\in [0,1]$. To this end, we adapt the Rank Centrality method - a popular spectral approach for ranking in the static case - by locally averaging the available data on a suitable neighborhood of $t$. When $(G_{t'})_{t' \\in \\mathcal{T}}$ is a sequence of Erd\\"os-Renyi graphs, we provide non-asymptotic $\\ell_2$ and $\\ell_{\\infty}$ error bounds for estimating $w_t^*$ which in particular establishes the consistency of this method in terms of $n$, and the grid size $\\lvert\\mathcal{T}\ vert$. We also complement our theoretical analysis with experiments on real and synthetic data.

연구 동기 및 목표

• 시간이 지남에 따라 변화하는 쌍별 비교 그래프를 갖는 동적 순위 매기기 상황에서 이론적 보장을 제공하지 못하는 문제를 해결하기 위해.
• 정적 Rank Centrality 방법을 BTL 모델 하에서 시간에 따라 변화하는 항목 강도를 갖는 동적 환경으로 확장하기 위해.
• 시간에 따라 변화하는 항목 강도 $w_t^*$를 추정하는 데 있어 비점근적 $ε_2$ 및 $ε_\infty$ 오차 경계를 제공하기 위해.
• 국소 평균화와 유니온 바운드 추론을 사용하여 시간 간격 $[0,1]$ 전반에 걸쳐 균일 일致성을 확보하기 위해.
• 합성 데이터 및 실세계 데이터를 기반으로 방법을 실증적으로 검증하기 위해.

제안 방법

• 시간 $t$ 근처의 이웃 시간 창에서 비교 데이터를 국소적으로 평균화하여 정적 Rank Centrality 스펙트럼 방법을 수정한다.
• 시간 $t$ 근처의 비교 그래프 $G_{t'}$를 기반으로 각 시간 $t$에서 추정된 전이 행렬 $\widehat{P}(t)$를 구성한다.
• 행렬 $\widehat{P}(t)$의 최상위 고유벡터를 사용하여 시간 $t$에서 정규화된 순위 벡터 $\widehat{\pi}(t)$를 추정한다.
• 시간 간격 $[0,1]$ 전체에 걸쳐 균일 오차 경계를 확립하기 위해 $O(T)$개의 시간 점에 대해 유니온 바운드를 적용한다.
• 항목 강도의 부드러운 시간적 변화를 가정하고, 비교 그래프를 Erdös-Rényi 무작위 그래프의 실현으로 모델링한다.
• 실제 순위 벡터 $\pi^*(t)$의 리프시츠 연속성 조건을 도입하여 추정 오차의 시간적 변동을 제어한다.

실험 결과

연구 질문

• RQ1 부드러운 시간적 변화를 보이는 동적 BTL 모델에서 시간에 따라 변화하는 항목 강도를 추정하기 위해 스펙트럼 순위 매기기 방법을 어떻게 적응시킬 수 있는가?
• RQ2 동적 설정에서 추정된 순위 벡터에 대해 어떤 비점근적 오차 경계를 도출할 수 있는가?
• RQ3 시간 주변의 국소 평균화가 동적 순위 매기기 추정의 일치성과 정확성에 어떤 영향을 미치는가?
• RQ4 최근접 이웃 Rank Centrality 방법이 시간 간격 $[0,1]$ 전반에 걸쳐 균일 일치성을 확보하는 조건은 무엇인가?
• RQ5 오차 경계는 항목 수 $n$, 격자 크기 $|\mathcal{T}|$, 쌍당 비교 횟수와 어떻게 척도화되는가?

주요 결과

• 제안된 최근접 이웃 Rank Centrality 방법은 높은 확률로 균일 $\ell_2$ 오차 경계를 $O\left(\frac{1}{\sqrt{n p L}}\right)$의 순서로 달성한다. 여기서 $p$는 간선 확률이고 $L$은 쌍당 비교 횟수이다.
• 이 방법은 균일 $\ell_\infty$ 오차 경계를 $O\left(\sqrt{\frac{\log n}{n p L}}\right)$의 순서로 달성하여 적절한 조건 하에서 상위-$K$ 순위의 정확한 복원을 가능하게 한다.
• 이론적 분석을 통해 비교 그래프가 Erdös-Rényi 무작위 그래프임을 가정할 때, 항목 수 $n$과 격자 크기 $|\mathcal{T}|$에 대한 방법의 일치성을 입증한다.
• 오차 경계는 $t \in [0,1]$ 전반에 걸쳐 확률 $1 - O(T n^{-c})$ 이상로 균일하게 유지되며, 여기서 $c$는 큰 상수(예: 9 또는 10)이다.
• 실제 순위 벡터 $\pi^*(t)$의 리프시츠 연속성과 국소 평균화를 통해 시간적 변동에 대한 강인성을 입증한다.
• 합성 데이터 및 실세계 데이터에 대한 실증 결과는 방법의 성능을 검증하며 이론적 결과를 지지한다.