[논문 리뷰] Active Ranking with Subset-wise Preferences

Aadirupa Saha, Aditya Gopalan|ePrints@IISc (Indian Institute of Science)|2018. 10. 23.

Auction Theory and Applications인용 수 5

한 줄 요약

이 논문은 플래킷-루스 모델 하에서 부분집합 기반 선호도 피드백을 사용하여 $n$개 항목에 대한 능동적 순위 매기기 알고리즘을 제안한다. 이는 $O(n^2)$ 쌍별 추정 대신 $n$개 항목의 점수 추정을 유지하기 위해 새로운 피봇 기반 방법을 도입하여, 부분집합당 상위-$m$ 순위가 관찰될 경우 샘플 복잡도를 $m$ 배 감소시킨다. 이는 개선이 순서적으로 최적임을 보여주는 엄밀한 이론적 경계를 제공한다.

ABSTRACT

We consider the problem of probably approximately correct (PAC) ranking $n$ items by adaptively eliciting subset-wise preference feedback. At each round, the learner chooses a subset of $k$ items and observes stochastic feedback indicating preference information of the winner (most preferred) item of the chosen subset drawn according to a Plackett-Luce (PL) subset choice model unknown a priori. The objective is to identify an $ε$-optimal ranking of the $n$ items with probability at least $1 - δ$. When the feedback in each subset round is a single Plackett-Luce-sampled item, we show $(ε, δ)$-PAC algorithms with a sample complexity of $O\left(\frac{n}{ε^2} \ln \frac{n}δ ight)$ rounds, which we establish as being order-optimal by exhibiting a matching sample complexity lower bound of $Ω\left(\frac{n}{ε^2} \ln \frac{n}δ ight)$---this shows that there is essentially no improvement possible from the pairwise comparisons setting ($k = 2$). When, however, it is possible to elicit top-$m$ ($\leq k$) ranking feedback according to the PL model from each adaptively chosen subset of size $k$, we show that an $(ε, δ)$-PAC ranking sample complexity of $O\left(\frac{n}{m ε^2} \ln \frac{n}δ ight)$ is achievable with explicit algorithms, which represents an $m$-wise reduction in sample complexity compared to the pairwise case. This again turns out to be order-wise unimprovable across the class of symmetric ranking algorithms. Our algorithms rely on a novel {pivot trick} to maintain only $n$ itemwise score estimates, unlike $O(n^2)$ pairwise score estimates that has been used in prior work. We report results of numerical experiments that corroborate our findings.

연구 동기 및 목표

• 고정확도로 $ε$-최적 순위를 특정하기 위해 필요한 부분집합 비교 라운드 수를 최소화하는 효율적인 능동적 순위 매기기 알고리즘을 개발하기 위해.
• 각 부분집합에서 단일 승자 또는 상위-$m$ 항목만 관찰 가능한 부분집합 기반 선호도 피드백으로부터 항목 순위를 학습하는 데 도전하는 데.
• 플래킷-루스 모델 하에서 승자만 관찰하는 경우와 상위-$m$ 피드백 설정 모두에 대해 샘플 복잡도의 이론적 경계를 수립하기 위해.
• 상위-$m$ 피드백이 승자만 관찰하는 경우에 비해 샘플 복잡도를 $m$ 배 감소시킬 수 있으며, 이 개선이 정보 이론적으로 최적임을 보여주기 위해.

제안 방법

• 플래킷-루스 모델의 중요하지 않은 대안에 대한 독립성(IIA) 성질을 활용하여, $O(n^2)$ 쌍별 추정의 부담을 피하기 위해 오직 $n$개 항목의 점수 추정만 유지한다.
• 새로운 피봇 기법 도입: 동적으로 항목 집합을 공통 피봇을 포함하는 부분집합으로 분할하고, 피봇 기반 국소 순위를 학습한 후 일관되게 통합한다.
• 부분집합 라운드에서의 실제 승리 횟수를 바탕으로 항목 점수 추정의 엄밀한 신뢰구간을 유도하기 위해 체르노프-후프딩 경계를 사용한다.
• 순위 분할 업데이트를 활용하여 상위-$m$ 피드백을 점수 추정을 위한 쌍별 비교로 변환함으로써 통계적 효율성을 유지한다.
• 정보 이론적 하한 경계를 유도하기 위해 신중히 구성된 혼동 가능한 사례를 사용한 측도 변화 추론 기법을 적용한다.
• 승자 피드백과 상위-$m$ 피드백 모두에서 유도된 샘플 복잡도 경계를 달성하는 명시적 알고리즘(예: Beat-the-Pivot)을 설계한다.

실험 결과

연구 질문

• RQ1 승자 피드백만 제공될 경우, 부분집합 기반 선호도를 통한 능동적 순위 매기기가 쌍별 비교보다 더 낮은 샘플 복잡도를 달성할 수 있는가?
• RQ2 플래킷-루스 모델 하에서 승자 피드백을 통한 능동적 순위 매기기의 기본 샘플 복잡도 한계는 무엇인가?
• RQ3 부분집합당 상위-$m$ 순위 항목을 관찰함으로써(단순히 승자만 관찰하는 것과 대비하여) 샘플 복잡도의 증명 가능한 감소가 가능한가?
• RQ4 상위-$m$ 피드백을 통한 샘플 복잡도의 $m$ 배 감소는 모든 대칭 순위 매기기 알고리즘에 대해 순서적으로 최적인가?
• RQ5 피봇 기반 방법은 플래킷-루스 모델 하에서 $O(n)$ 점수 추정을 유지하면서도 일관된 전역 순위 추정을 보장할 수 있는가?

주요 결과

• 승자만 관찰하는 경우 샘플 복잡도는 $O\left(\frac{n}{\epsilon^{2}}\ln\frac{n}{\delta}\right)$이며, 이는 하한 경계 $\Omega\left(\frac{n}{\epsilon^{2}}\ln\frac{n}{\delta}\right)$와 일치하여, 쌍별 비교에 비해 향상 가능성이 없음을 입증한다.
• 상위-$m$ 피드백이 적용될 경우 샘플 복잡도는 $O\left(\frac{n}{m\epsilon^{2}}\ln\frac{n}{\delta}\right)$로 감소하여 승자만 관찰하는 경우 대비 $m$ 배 향상된다.
• 이 개선된 샘플 복잡도는 순서적으로 타이트하며, 일치하는 하한 경계 $\Omega\left\{\frac{n}{m\epsilon^{2}}\ln\frac{n}{\delta}\right\}$ 가 확립되었다.
• 제안된 피봇 기반 알고리즘은 $O(n^2)$ 쌍별 추정 오버헤드를 피하기 위해 오직 $n$개 항목의 점수 추정만 유지한다.
• 수치 실험을 통해 제안된 알고리즘이 합성 환경에서 이론적 샘플 복잡도 경계를 달성하는 것으로 확인되었다.
• 분석 결과, $m$ 배 감소는 본질적인 것으로서, 더 정교한 피드백이나 알고리즘으로도 더 이상 향상될 수 없음을 보여준다.