[논문 리뷰] Multivariate Spearman's rho for aggregating ranks using copulas

Justin Bedő, Cheng Soon Ong|arXiv (Cornell University)|2014. 10. 16.

Multi-Criteria Decision Making참고 문헌 19인용 수 12

한 줄 요약

이 논문은 공준 랭킹과 전문가 목록 간의 상관관계를 최대화하는 다변량 스피어만의 ρ를 기반으로 한 비모수적 순위 집계 방법을 제안한다. 이 방법은 정규화된 순위의 로그 변환을 통해 닫힌 형태의 최소 제곱 해를 도출하며, 상위-k/하위-k와 같은 극단적 순위에 대해 편향 없는 보간을 통해 벤치마크보다 MQ2007과 MQ2008에서 뛰어난 성능을 보인다.

ABSTRACT

We study the problem of rank aggregation: given a set of ranked lists, we want to form a consensus ranking. Furthermore, we consider the case of extreme lists: i.e., only the rank of the best or worst elements are known. We impute missing ranks by the average value and generalise Spearman's ρto extreme ranks. Our main contribution is the derivation of a non-parametric estimator for rank aggregation based on multivariate extensions of Spearman's ρ, which measures correlation between a set of ranked lists. Multivariate Spearman's ρis defined using copulas, and we show that the geometric mean of normalised ranks maximises multivariate correlation. Motivated by this, we propose a weighted geometric mean approach for learning to rank which has a closed form least squares solution. When only the best or worst elements of a ranked list are known, we impute the missing ranks by the average value, allowing us to apply Spearman's ρ. Finally, we demonstrate good performance on the rank aggregation benchmarks MQ2007 and MQ2008.

연구 동기 및 목표

• 전문가로부터 제공되는 극단적 순위(상위-k 또는 하위-k)만 존재할 경우의 순위 집계 문제를 해결하기 위해.
• 코풀라를 사용하여 스피어만의 ρ를 다변량 설정으로 일반화하여 개선된 공준 순위를 도출하는 비모수적 방법을 개발하기 위해.
• 쌍별이 아닌 다변량 프레임워크에서 전문가 간의 의존성을 동시에 모델링하여 모델링의 유연성과 계산 효율성을 향상시키기 위해.
• 복잡한 최적화나 샘플링을 피하기 위해 최소 제곱법을 통해 전문가 가중치를 학습하는 닫힌 형태의 해를 제공하기 위해.

제안 방법

• 이 방법은 코풀라를 통해 정의된 다변량 스피어만의 ρ를 사용하여 공준 순위와 전문가 순위 간의 일치도를 측정한다.
• 기하 평균이 정규화된 순위의 최대화를 통해 다변량 스피어만의 ρ를 도출함으로써, 순위의 로그 변환을 사용하는 것이 이론적으로 타당함을 입증한다.
• 로그 순위 기반의 최소 제곱 최적화 문제를 설정한다: min_ω ∑(l(x) − ∑ω_d r_d(x))²이며, 가중치 ω에 대해 닫힌 형태의 해가 존재한다.
• 결측 순위는 평균 값으로 보간되며, 상관관계를 근사하고 강건성을 향상시키기 위해 낙관적 및 비관적 보간 전략을 사용한다.
• 순위는 (0,1) 구간으로 변환되고, 로그 스케일링을 적용하여 순위 의존성의 선형 모델링을 가능하게 한다.
• 기존의 쌍별 접근 방식과 달리, 이 방법은 다변량 프레임워크에서 전문가 간의 의존성을 명시적으로 모델링한다.

실험 결과

연구 질문

• RQ1 코풀라를 통해 정의된 다변량 스피어만의 ρ를 사용하여 전문가 간의 의존성을 포괄하는 원칙적인 공준 순위를 도출할 수 있는가?
• RQ2 스피어만의 ρ는 어떻게 완전하지 않거나 극단적인 순위(예: 상위-k 또는 하위-k 요소만 알려진 경우)를 다룰 수 있는가?
• RQ3 다변량 상관관계를 최대화하는 순위 집계를 위한 닫힌 형태의 해가 존재하는가, 그리고 계산적으로 효율적인가?
• RQ4 결측 순위에 대한 보간 전략은 극단적 순위 시나리오에서 상관관계의 편향 없는 추정을 유지할 수 있는가?
• RQ5 기존의 벤치마크와 비교할 때, 제안된 방법은 표준 순위 집계 데이터셋에서 성능 면에서 어떻게 나타나는가?

주요 결과

• 기하 평균이 정규화된 순위의 최대화를 통해 다변량 스피어만의 ρ를 도출함으로써, 제안된 방법의 가중치 부여 방식에 이론적 근거를 제공한다.
• 정규화된 순위의 로그 변환 후, 전문가 가중치에 대한 닫힌 형태의 최소 제곱 해를 도출함으로써 효율적인 계산이 가능하다.
• 평균 값으로 결측 순위를 보간하면 극단적 순위 시나리오에서 스피어만의 ρ의 편향 없는 추정치를 유지할 수 있다.
• 낙관적 및 비관적 보간 전략은 상관관계를 효과적으로 구속하며, 대학 순위 집계 실험에서 강건성을 입증한다.
• 표준 벤치마크인 MQ2007과 MQ2008에서 뛰어난 성능을 기록하며, 기존의 접근 방식보다 순위 집계 작업에서 뛰어난 성능을 보였다.