[논문 리뷰] Statistical Inference for Incomplete Ranking Data: The Case of Rank-Dependent Coarsening

Mohsen Ahmadi Fahandar, Eyke Hüllermeier외 1명|arXiv (Cornell University)|2017. 12. 04.

Game Theory and Voting Systems참고 문헌 17인용 수 7

한 줄 요약

이 논문은 순위 기반의 군집화에 의해 발생하는 부분적인 순위 데이터를 다루기 위한 통계적 프레임워크를 제안한다. 여기서 부분적인 순위는 전체 순위가 무작위 순위 부분집합에 투영되면서 발생한다. 이는 군집화 과정에서 발생하는 편향에도 불구하고, Copeland 및 FAS와 같은 여러 순위 매기기 방법이 Plackett-Luce 가정 하에 표본 크기가 증가함에 따라 진정한 순위를 회복할 수 있음을 보여준다. 이는 일관성(consistency)을 의미한다.

ABSTRACT

We consider the problem of statistical inference for ranking data, specifically rank aggregation, under the assumption that samples are incomplete in the sense of not comprising all choice alternatives. In contrast to most existing methods, we explicitly model the process of turning a full ranking into an incomplete one, which we call the coarsening process. To this end, we propose the concept of rank-dependent coarsening, which assumes that incomplete rankings are produced by projecting a full ranking to a random subset of ranks. For a concrete instantiation of our model, in which full rankings are drawn from a Plackett-Luce distribution and observations take the form of pairwise preferences, we study the performance of various rank aggregation methods. In addition to predictive accuracy in the finite sample setting, we address the theoretical question of consistency, by which we mean the ability to recover a target ranking when the sample size goes to infinity, despite a potential bias in the observations caused by the (unknown) coarsening.

연구 동기 및 목표

• 전체 순위가 무작위 순위 부분집합에 투영되면서 발생하는 부분적 순위 데이터로부터 학습하는 통계적 과제를 다루기.
• 기존 방법들이 군집화 과정이 순위와 독립적임을 가정하거나 忽시하는 것과 대비해, 군집화 과정을 명시적으로 모델링하기.
• 군집화 과정에서 발생하는 편향이 관측된 상호 비교 선호도에 영향을 주더라도, 순위 매기기 방법이 여전히 일관성(즉, 진정한 순위를 복원할 수 있음)을 유지할 수 있는지 조사하기.
• 특히 Plackett-Luce 분포를 따르는 전체 순위 하에서, 순위 기반 군집화 하에서의 일관성에 대한 이론적 및 실험적 증거 제공.
• 순위 맥락에서 군집화된 자료와 군집화 메커니즘의 이해를 확장하며, 항목 기반의 투사와의 차이를 명확히 하기.

제안 방법

• 전체 순위가 무작위 순위 부분집합에 투영되면서 부분적 순위가 생성되는, 순위 기반 군집화 개념을 도입한다.
• 부분적 순위를 기호 τ로 정의하며, 항목 k가 누락된 경우 τ(k) = 0으로, 순위가 부여된 경우 τ(k) > 0으로 정의한다.
• 부분적 순위 τ의 일관된 전체 순위 집합(선형 확장)을 E(τ)로 정의하여 확률적 추론을 가능하게 한다.
• 전체 순위가 매개변수 벡터 θ를 가진 Plackett-Luce 분포를 따르는 것으로 가정하고, 군집화 이후 관측된 상호 비교 선호도 a_i ≻ a_j 의 확률을 유도한다.
• 군집화 메커니즘 λ_{r,s}를 사용하여 전체 순위를 무작위로 두 순위 r과 s로 투영하고, 관측된 a_i ≻ a_j 의 유도 확률 q_{i,j}를 계산한다.
• Plackett-Luce 하에서 p_{i,j} - 1/2 와 q'_{i,j} - 1/2 의 부호가 일치함을 증명함으로써 이론적 일관성을 확립하며, 이는 편향이 존재하더라도 순서 유지가 가능함을 보장한다.

실험 결과

연구 질문

• RQ1 순위 기반 군집화로 인해 관측치에 편향이 발생할 경우, 순위 매기기 방법이 여전히 진정한 순위를 회복할 수 있는 일관성을 유지할 수 있는가?
• RQ2 Plackett-Luce 모델은 순위 기반 군집화 이후에도 상호 비교 선호도의 상대적 순서를 유지하는가?
• RQ3 보편적으로 사용되는 순위 집계 방법인 Copeland 및 FAS 는 이러한 군집화 모델 하에서도 여전히 일관성을 가지는가? 특히 추정치에 편향이 있을 경우에도 마찬가지인가?
• RQ4 순위 기반 군집화는 표준 항목 기반 투사와 어떻게 다를까? 이는 순위 추론에 대한 통계적 영향을 어떻게 달리하는가?
• RQ5 표본 크기가 증가함에 따라 추정된 상호 비교 선호도 p̂_{i,j} 가 진정한 선호도 순서를 정확히 반영할 수 있도록 보장하는 조건은 무엇인가?

주요 결과

• Plackett-Luce 모델 하에서 순위 기반 군집화는 상호 비교 선호도 차이의 부호를 유지한다: p_{i,j} > 1/2 이고 오직 그 때만 q'_{i,j} > 1/2 이다.
• 레마 2는 기저 분포가 a_i ≻ a_j 와 일관된 순위를 선호할 경우, 군집화된 확률 q_{i,j} 가 여전히 q_{j,i} 보다 큰 것을 보여준다.
• 레마 3은 Plackett-Luce 하에서 군집화 과정이 순서를 유지함을 증명하며, 이는 어떤 두 항목 간의 상대적 선호도가 뒤바뀌지 않음을 보장한다.
• 정리 5는 제안된 모델 하에서 Copeland 순위 매기기 방법이 일관성 있음을 확립하며, 이는 N → ∞ 일 때 진정한 순위를 확률 1에 가까이 복원함을 의미한다.
• 정리 6은 FAS, FAS(R), FAS(B) 에 대해서도 일관성을 확인함으로써, 이러한 방법들이 순위 기반 군집화에 대해 강건함을 입증한다.
• 실험 결과는 BTL 등의 다른 방법들에 대해서도 일관성이 성립할 수 있음을 시사하지만, 일반화에 대한 엄밀한 증명은 아직 열려 있다.