[논문 리뷰] A Theoretical Analysis of NDCG Type Ranking Measures

Yining Wang, Liwei Wang외 4명|arXiv (Cornell University)|2013. 04. 24.

Information Retrieval and Search Behavior참고 문헌 29인용 수 254

한 줄 요약

이 논문은 NDCG 유형의 순위 측정법에 대한 이론적 분석을 제공하며, 로그 할인을 사용하는 표준 NDCG가 모든 순위 함수에 대해 1로 수렴하지만 여전히 일관된 구별 능력을 유지함을 보여준다—이는 좋은 순위와 나쁜 순위를 신뢰성 있게 구분할 수 있음을 의미한다. 연구는 할인 함수의 임계 감쇠율로 $ r^{-1} $을 규명하였으며, 이보다 느리게 감쇠하는 함수들만이 구별 능력을 유지함을 증명한다. 이와 같은 발견은 실제 웹 검색 데이터를 대상으로 실험적으로도 검증되었다.

ABSTRACT

A central problem in ranking is to design a ranking measure for evaluation of ranking functions. In this paper we study, from a theoretical perspective, the widely used Normalized Discounted Cumulative Gain (NDCG)-type ranking measures. Although there are extensive empirical studies of NDCG, little is known about its theoretical properties. We first show that, whatever the ranking function is, the standard NDCG which adopts a logarithmic discount, converges to 1 as the number of items to rank goes to infinity. On the first sight, this result is very surprising. It seems to imply that NDCG cannot differentiate good and bad ranking functions, contradicting to the empirical success of NDCG in many applications. In order to have a deeper understanding of ranking measures in general, we propose a notion referred to as consistent distinguishability. This notion captures the intuition that a ranking measure should have such a property: For every pair of substantially different ranking functions, the ranking measure can decide which one is better in a consistent manner on almost all datasets. We show that NDCG with logarithmic discount has consistent distinguishability although it converges to the same limit for all ranking functions. We next characterize the set of all feasible discount functions for NDCG according to the concept of consistent distinguishability. Specifically we show that whether NDCG has consistent distinguishability depends on how fast the discount decays, and 1/r is a critical point. We then turn to the cut-off version of NDCG, i.e., NDCG@k. We analyze the distinguishability of NDCG@k for various choices of k and the discount functions. Experimental results on real Web search datasets agree well with the theory.

연구 동기 및 목표

• NDCG 유형의 순위 측정법의 이론적 성질을 조사하고, 특히 다양한 순위 함수 간의 일관된 구별 능력에 초점한다.
• 표준 NDCG가 모든 순위 함수에 대해 1로 수렴하는 데도 실무에서는 효과적으로 작동하는 데서 발생하는 명백한 모순을 해결한다.
• 일관된 구별 능력을 기준으로 하여 NDCG에 적합한 할인 함수의 집합을 특성화한다.
• 자르기 기반 NDCG@k의 행동과 다양한 할인 함수 및 k 값에서의 구별 능력을 분석한다.
• 클릭 스루 로그와 관련성 레이블이 있는 실제 웹 검색 데이터셋을 사용하여 이론적 발견을 검증한다.

제안 방법

• ‘일관된 구별 능력’의 개념을 제안한다—이것은 거의 모든 데이터셋에서 더 나은 순위 함수를 신뢰성 있게 선호할 수 있도록 보장하는 형식적 기준이다.
• 항목 수 n이 무한대에 가까워질 때 NDCG의 渐近적 행동을 분석하며, 다양한 할인 함수 하에서 NDCG의 수렴 한계에 초점을 맞춘다.
• NDCG가 구별 능력을 유지할 수 있는 이론적 조건을 유도하며, 감쇠율이 $ r^{-1} $일 때 임계값임을 규명한다: 더 느린 감쇠는 구별 능력을 유지하고, 더 빠른 감쇠는 이를 파괴한다.
• k를 n의 비율로 고정함으로써 NDCG@k를 분석한다(예: k = n/5). 이 방식은 서로 다른 수렴 한계로 이어져 구별 능력을 유지함을 보여준다.
• 실제 웹 검색 데이터셋(40개의 쿼리, 각각 5000개의 문서)을 대상으로 로그 할인, $ r^{-1/2} $, $ 2^{-r} $ 할인 함수 및 NDCG@k를 실험적으로 평가한다.
• RankSVM 및 ListNet 모델을 훈련시켜 얻은 순위 함수와 무작위 기준을 사용하여, 다양한 할인 함수와 k 값에서의 구별 능력을 시험한다.

실험 결과

연구 질문

• RQ1 로그 할인을 사용하는 표준 NDCG가 모든 순위 함수에 대해 1로 수렴하는 데도 실무에서는 좋은 순위와 나쁜 순위를 효과적으로 구별할 수 있는 이유는 무엇인가?
• RQ2 할인 함수에 어떤 조건이 요구되어야 NDCG가 다양한 순위 함수 간에 일관된 구별 능력을 유지할 수 있는가?
• RQ3 NDCG가 순위 함수를 구별할 수 있는 능력을 상실하는 임계 감쇠율이 존재하는가?
• RQ4 자르기 기반 NDCG@k는 점점 커지는 n에 비례하는 k와 함께 渐近적으로 어떻게 행동하는가? 그리고 이 경우에도 구별 능력을 유지하는가?
• RQ5 비.i.i.d.이고 비무작위적인 문서 순서를 가진 실제 웹 검색 데이터에서 NDCG 행동에 대한 이론적 예측은 어느 정도 유효한가?

주요 결과

• 로그 할인 $ \frac{1}{\log(1+r)} $을 사용하는 표준 NDCG는 n → ∞ 일 때 모든 순위 함수에 대해 1로 수렴하지만 여전히 일관된 구별 능력을 유지한다.
• 할인 함수 $ r^{-1} $은 임계 기준점이다: 할인이 $ r^{-1} $보다 느리게 감쇠하면 NDCG는 일관된 구별 능력을 유지하지만, 더 빠르게 감쇠하면 그렇지 않다.
• 감쇠율이 $ r^{-1} $보다 느린 $ r^{-1/2} $ 할인 함수를 사용한 NDCG는 서로 다른 순위 함수에 대해 다른 수렴 한계로 수렴하여 강력한 구별 능력을 확보한다.
• 빠르게 감쇠하는 할인 함수인 $ 2^{-r} $를 사용한 NDCG는 수렴하지 못하며, 구별 능력이 열악하여 무작위 순위 함수에게도 높은 점수를 부여한다.
• k = n/5 이고 로그 할인을 사용한 NDCG@k 는 서로 다른 순위 함수에 대해 다른 수렴 한계로 수렴하며, 표준 NDCG와 달리 구별 능력을 유지한다.
• 클릭 스루 로그와 관련성 레이블이 있는 실제 웹 검색 데이터에서의 실험 결과는 이론적 예측과 밀도 있게 일치하며, 구별 능력이 할인 감쇠율과 k 선택에 따라 달라짐을 확인한다.