[논문 리뷰] Ranking Inferences Based on the Top Choice of Multiway Comparisons

Jianqing Fan, Zhipeng Lou외 2명|arXiv (Cornell University)|2022. 11. 22.

Economic and Environmental Valuation인용 수 5

한 줄 요약

이 논문은 다항 비교(M-way)에서 유일한 상위 선택지만을 사용하여 순위 추론를 위한 새로운 통계적 프레임워크를 제안한다. 이는 Bradley-Terry-Luce 모델을 확장한 것으로, 선호도 점수의 최대우도추정(MLE)에 대한 최적 수렴 속도를 확립하고, MLE의 점근적 정규성을 도출하며, 동시 신뢰구간을 구성하기 위해 가우시안 스토퍼블릿 기반 추론 방법을 제안한다. 이는 희박한 표본 추출 조건에서도 타당한 불확실성 정량화를 제공한다.

ABSTRACT

This paper considers ranking inference of $n$ items based on the observed data on the top choice among $M$ randomly selected items at each trial. This is a useful modification of the Plackett-Luce model for $M$-way ranking with only the top choice observed and is an extension of the celebrated Bradley-Terry-Luce model that corresponds to $M=2$. Under a uniform sampling scheme in which any $M$ distinguished items are selected for comparisons with probability $p$ and the selected $M$ items are compared $L$ times with multinomial outcomes, we establish the statistical rates of convergence for underlying $n$ preference scores using both $\ell_2$-norm and $\ell_\infty$-norm, with the minimum sampling complexity. In addition, we establish the asymptotic normality of the maximum likelihood estimator that allows us to construct confidence intervals for the underlying scores. Furthermore, we propose a novel inference framework for ranking items through a sophisticated maximum pairwise difference statistic whose distribution is estimated via a valid Gaussian multiplier bootstrap. The estimated distribution is then used to construct simultaneous confidence intervals for the differences in the preference scores and the ranks of individual items. They also enable us to address various inference questions on the ranks of these items. Extensive simulation studies lend further support to our theoretical results. A real data application illustrates the usefulness of the proposed methods convincingly.

연구 동기 및 목표

• 다중 비교에서 상위 선택지만 관측될 경우 순위 추론에 대한 불확실성 정량화 부족 문제를 해결한다.
• 상위 선택지가 관측되는 다중 비교 상황에서 Bradley-Terry-Luce 모델을 일반화한다.
• 가장 희박한 균일 표본 추출 조건 하에서 선호도 점수 추정의 최적 통계적 수렴 속도를 확립한다.
• 순위에 대한 엄밀한 추론 프레임워크를 개발하며, 점수 차이 및 순위 위치에 대한 신뢰구간을 포함한다.
• MLE의 점근적 분포에 대한 이론적 근거와 불확실성 정량화를 위한 타당한 스토퍼블릿 절차를 제공한다.

제안 방법

• 각 M개 항목 비교 집합에서 상위 선택지만 관측될 때, 선호도 점수를 수정된 Plackett-Luce 모델로 모델링한다.
• 균일 표본 추출 확률 $ p $ 와 각 비교에 대한 $ L $ 번의 반복을 통해 최대우도추정(MLE)으로 기저 선호도 점수를 추정한다.
• 가장 희박한 표본 추출 조건인 $ p \gtrsim \log n / n $ 하에서 MLE의 최적 $ \ell_2 $- 및 $ \ell_\infty $-노름 수렴 속도를 유도한다.
• MLE의 점근적 정규성을 확립하여 개별 점수에 대한 추론을 가능하게 한다.
• 최대 쌍별 차이 통계량 기반의 새로운 추론 프레임워크를 제안하며, 분포는 가우시안 스토퍼블릿으로 추정한다.
• 스토퍼블릿으로 추정된 분포를 사용하여 점수 차이 및 순위에 대한 동시 신뢰구간을 구성하고, 상위-K 배치에 대한 가설 검정을 가능하게 한다.

실험 결과

연구 질문

• RQ1 상위 선택지만 관측되는 다항 비교에서 선호도 점수 추정에 대한 최적 통계적 수렴 속도는 무엇인가?
• RQ2 상위 선택지 다항 비교 모델에서 MLE의 점근적 분포는 무엇이며, 이를 통해 타당한 불확실성 정량화가 가능한가?
• RQ3 이 모델 하에서 선호도 점수 차이 및 순위에 대한 동시 신뢰구간을 어떻게 구성할 수 있는가?
• RQ4 제안된 추론 프레임워크는 기존의 보너페르리 보정보다 더 좁은 신뢰구간을 생성할 수 있는가?
• RQ5 이 설정에서 최적의 추정 및 추론을 달성하기 위해 필요한 최소 표본 복잡도는 무엇인가?

주요 결과

• MLE는 가장 희박한 균일 표본 추출 조건인 $ p \gtrsim \log n / n $ 하에서 이론적 하한값과 일치하는 최적의 $ \ell_2 $- 및 $ \ell_\infty $-노름 수렴 속도를 달성한다.
• 동일한 표본 추출 조건 하에서 MLE는 점근적으로 정규분포를 따르며, 이는 개별 선호도 점수에 대한 타당한 추론을 가능하게 한다.
• 제안된 가우시안 스토퍼블릿 방법은 최대 쌍별 차이 통계량의 분포에 대해 타당한 근사값을 제공하며, 점수 차이에 대한 동시 신뢰구간을 가능하게 한다.
• 제안된 프레임워크를 통해 구성된 순위에 대한 동시 신뢰구간은 고확률 보너페르리 보정을 사용한 경우보다 엄밀히 더 좁다.
• 시뮬레이션 연구는 $ M $ 이 증가함에 따라(예: $ M=2 $ 에서 $ M=3 $ 로) 또는 표본 확률 $ p $ 가 증가함에 따라 효과적인 표본 크기가 증가함에 따라 신뢰구간이 상당히 좁아짐을 확인한다.
• 실제 데이터에 대한 실증 결과는 본 방법이 순위 추론에 대해 신뢰할 수 있고 좁은 신뢰구간을 구성하는 데 실용적 유용성을 보여준다.