[논문 리뷰] Approximate Ranking from Pairwise Comparisons

Reinhard Heckel, Max Simchowitz외 2명|arXiv (Cornell University)|2018. 01. 04.

Machine Learning and Algorithms인용 수 7

한 줄 요약

이 논문은 적응형 상대 비교에서의 신뢰구간을 활용하여 근사 순위를 near-optimal 샘플 복잡도로 복원하는 주동적 순위 매기기 알고리즘을 제안한다. 근사 순위가 정확한 순위에 비해 비교 횟수를 크게 줄임을 보여주며, 다양한 비교 모델에 대해 정보 이론적 하한선의 로그 인자 범위 내에서 고확률 복원을 달성한다.

ABSTRACT

A common problem in machine learning is to rank a set of n items based on pairwise comparisons. Here ranking refers to partitioning the items into sets of pre-specified sizes according to their scores, which includes identification of the top-k items as the most prominent special case. The score of a given item is defined as the probability that it beats a randomly chosen other item. Finding an exact ranking typically requires a prohibitively large number of comparisons, but in practice, approximate rankings are often adequate. Accordingly, we study the problem of finding approximate rankings from pairwise comparisons. We analyze an active ranking algorithm that counts the number of comparisons won, and decides whether to stop or which pair of items to compare next, based on confidence intervals computed from the data collected in previous steps. We show that this algorithm succeeds in recovering approximate rankings using a number of comparisons that is close to optimal up to logarithmic factors. We also present numerical results, showing that in practice, approximation can drastically reduce the number of comparisons required to estimate a ranking.

연구 동기 및 목표

• 정확한 순위 매기기의 샘플 크기가 금방이 되는 상황에서 상대 비교로부터 순위를 학습하는 데 도전하는 것.
• 신뢰구간을 기반으로 적응적으로 쌍을 선택하여 필요한 비교 횟수를 최소화하는 주동적 학습 알고리즘을 개발하는 것.
• 근사 순위에 대한 이론적 보장을 확립하는 것, 특히 고확률 복원과 샘플 복잡도의 near-optimality를 포함한다.
• Bradley-Terry-Luce 및 강한 확률적 전이성과 같은 일반적인 파rametric 모델 하에서 알고리즘의 성능을 분석하는 것.
• 항상성 없는 경우(예: 항목 간 점수 차이가 매우 작을 경우)에서 표준 방법이 실패하는 상황을 탐색하고, 샘플 효율성을 향상시키기 위한 랜덤화 전략을 제안하는 것.

제안 방법

• 알고리즘은 각 항목의 보르다 점수에 대한 신뢰구간을 유지하며, 이는 무작위로 선택된 다른 항목을 이길 확률로 정의된다.
• 각 단계에서 상대 점수 간의 불확실성이 가장 큰 쌍의 항목을 다음 비교 대상으로 선택한다.
• Hoeffding 스타일의 농도 경계를 사용하여 신뢰구간을 계산하고, 정지 또는 계속 여부를 결정한다.
• 신뢰구간이 사전 지정된 집합(예: 상위-k 항목)으로의 신뢰성 있는 분할을 가능하게 할 때 알고리즘이 정지한다.
• BTL과 같은 파라미터 모델의 경우, 매개변수 공간의 구조를 활용하여 추정치를 효율적으로 개선한다.
• 매우 유사한 점수를 가진 병리적 케이스에서는 대칭성을 깨뜨리고 샘플 복잡도를 줄이기 위해 랜덤 추측 전략을 적용한다.

실험 결과

연구 질문

• RQ1 근사 순위가 정확한 순위에 비해 필요한 상대 비교 횟수를 줄일 수 있는가?
• RQ2 일반적인 비교 모델 하에서 주동적 근사 순위 매기기의 최적 샘플 복잡도는 무엇인가?
• RQ3 항목 간 점수 간격, 특히 상위-k 기준선 근처에서 알고리즘의 성능은 어떻게 스케일링되는가?
• RQ4 항목의 점수가 매우 유사한 병리적 분포에 대해 알고리즘이 강건하게 작동할 수 있는가?
• RQ5 주동적 학습 환경에서 근사 정확도와 샘플 복잡도 사이의 상충 관계는 무엇인가?

주요 결과

• 제안된 주동적 순위 매기기 알고리즘은 정보 이론적 하한선의 로그 인자 범위 내에서 근사 순위의 고확률 복원을 달성한다.
• 상위-k 선택 문제의 경우 샘플 복잡도는 약 ∑_{i=1}^k 1/(τ_i - τ_{k+1})² + ∑_{i=k+1}^n 1/(τ_k - τ_i)² 수준으로 스케일링되며, 로그 인자 범위 내이다.
• Bradley-Terry-Luce 및 강한 확률적 전이성과 같은 파라미터 모델 하에서도 알고리즘의 샘플 복잡도는 near-optimal하다.
• 매우 작은 점수 차이가 있는 병리적 케이스에서는 랜덤 추측 전략을 통합함으로써 알고리즘 성능을 크게 향상시킬 수 있다.
• 이론적 하한선은 상한선과 로그 인자 범위 내에서 일치하여, 알고리즘의 샘플 복잡도가 near-optimal하다는 것을 확인한다.
• 수치적 결과는 근사화가 정확한 순위 매기기가 불가능한 경우 실질적으로 비교 횟수를 크게 줄임을 보여준다.