[논문 리뷰] Active Ranking using Pairwise Comparisons

Kevin Jamieson, Robert D. Nowak|arXiv (Cornell University)|2011. 09. 16.

Data Management and Algorithms인용 수 86

한 줄 요약

이 논문은 $ n $ 개의 객체가 $ d $-차원 유클리드 공간에 임bedded되어 있을 때, 무작위 비교 선택에 비해 훨씬 적은 $ \binom{n}{2} $ 개의 비교를 요구하는 $ O(d \log n) $ 쿼리로 평균적으로만 필요한 적응형 쌍별 비교를 사용하는 액티브 랭킹 알고리즘을 제안한다. 이 방법은 기하학적 구조를 활용하여 거의 최적의 쿼리 효율성을 달성하며, 노이즈 있는 비교에도 강인하다.

ABSTRACT

This paper examines the problem of ranking a collection of objects using pairwise comparisons (rankings of two objects). In general, the ranking of $n$ objects can be identified by standard sorting methods using $n log_2 n$ pairwise comparisons. We are interested in natural situations in which relationships among the objects may allow for ranking using far fewer pairwise comparisons. Specifically, we assume that the objects can be embedded into a $d$-dimensional Euclidean space and that the rankings reflect their relative distances from a common reference point in $R^d$. We show that under this assumption the number of possible rankings grows like $n^{2d}$ and demonstrate an algorithm that can identify a randomly selected ranking using just slightly more than $d log n$ adaptively selected pairwise comparisons, on average. If instead the comparisons are chosen at random, then almost all pairwise comparisons must be made in order to identify any ranking. In addition, we propose a robust, error-tolerant algorithm that only requires that the pairwise comparisons are probably correct. Experimental studies with synthetic and real datasets support the conclusions of our theoretical analysis.

연구 동기 및 목표

• 객체가 $ d $-차원 공간에 임베딩되어 있을 때, 기하학적 구조를 활용하여 $ n $ 개의 객체 랭킹을 학습하기 위해 필요한 쌍별 비교 수를 줄이는 것.
• 적응형 비교 선택이 $ \binom{n}{2} $ 보다 훨씬 적은 $ O(d\log n) $ 쿼리로 랭킹을 학습할 수 있음을 보여주는 것.
• 지속적인 오류가 발생하는 쌍별 비교 상황에서도 저비용 쿼리 복잡도를 유지하면서도 강인한 알고리즘 개발.
• 이론적 결과를 합성 및 실제 오디오 데이터셋(저차원 임베딩가능)을 사용하여 실험적으로 검증하는 것.

제안 방법

• 객체가 $ \mathbb{R}^d $ 에 임베딩되어 있으며, 랭킹은 공통 기준점으로부터의 거리에 따라 결정되어, 가능한 랭킹의 수가 $ O(n^{2d}) $ 로 제한됨.
• 현재 불확실성에 기반하여 가장 정보량이 많은 쌍별 비교를 선택하는 적응형 순차적 쿼리 전략을 사용하여 총 쿼리 수를 최소화.
• 기하학적 일관성 모델을 사용하며, $ \theta_i \prec \theta_j $ 이면 어떤 기준점 $ r \in \mathbb{R}^d $ 에 대해 $ \|\theta_i - r\| < \|\theta_j - r\| $ 를 만족함.
• 오류 내성 확보를 위해 쌍별 응답을 오차 확률 $ p $ 를 가진 노이즈 있는 것으로 모델링하고, 오류 전파를 최소화하는 강인한 알고리즘을 사용.
• 유사도 데이터로부터 임베딩을 복원하기 위해 비메트릭 다차원 척도법을 적용하여 실제 환경에서 비교 기반 랭킹을 가능하게 함.
• 쿼리 예산 $ R = \Theta((1-2p)^{-2} \log n) $ 를 기반으로 한 정지 기준을 적용하여, 높은 확률로 진짜 랭킹을 복원함.

실험 결과

연구 질문

• RQ1 객체가 $ \mathbb{R}^d $ 에 임베딩되어 있을 때, 액티브하고 적응형인 쌍별 비교 선택이 $ \binom{n}{2} $ 에서 $ O(d\log n) $ 로 비교 수를 줄일 수 있는가?
• RQ2 기하학적 구조 하에서 랭킹의 쿼리 복잡도에 대한 기본 한계는 무엇이며, 실생활에서 이를 달성할 수 있는가?
• RQ3 지속적인 노이즈 있는 쌍별 비교 상황에서 액티브 랭킹의 성능은 어떻게 저하되는가?
• RQ4 강건한 알고리즘이 모든 가능한 비교의 소수에 불과한 수로 거의 최적의 정확도를 달성할 수 있는가?

주요 결과

• $ d $-차원 임베딩과 일치하는 가능한 랭킹의 수는 $ n^{2d} $ 로 증가하므로, 랭킹을 특정하기 위해 $ O(d\log n) $ 비트의 정보만 필요함.
• 적응형 알고리즘은 무작위로 선택된 랭킹을 평균적으로 $ d\log n $ 보다 略로 더 많은 쌍별 비교로 식별할 수 있으며, 거의 최적의 쿼리 효율성을 달성함.
• 무작위 비교 선택은 어떤 랭킹도 식별하기 위해 거의 $ \binom{n}{2} $ 개의 비교가 필요하므로, 액티브 선택의 강력함을 보여줌.
• 지속적인 오류가 존재할 경우($ P(Y_{i,j} \neq y_{i,j}) = p $), 강인한 알고리즘은 평균적으로 $ O(d(1-2p)^{-2}\log n / n) \binom{n}{2} $ 의 기대 Kendall-Tau 오차를 기록하며, $ O(d(1-2p)^{-2}\log^2 n) $ 개의 쿼리를 사용함.
• 합성 및 오디오 데이터셋에 대한 실험 결과, 쿼리 수가 이론적 하한선을 두 배 이내로 초과하지 않아 이론적 예측을 확인함.
• $ d=2 $ 와 $ d=3 $ 인 경우, 강인한 알고리즘은 각각 평균적으로 모든 쌍별 비교의 14.5%와 18.5%만 요청하며, 최상의 임베딩 기반 랭킹과 오차가 0.07 이내로 유지됨.