[논문 리뷰] Learning the Gain Values and Discount Factors of DCG

Ke Zhou, Hongyuan Zha외 2명|arXiv (Cornell University)|2012. 12. 22.

Tensor decomposition and applications참고 문헌 1인용 수 6

한 줄 요약

이 논문은 사용자 선호 데이터로부터 할인 누적 수익(DCG)의 최적의 이득 값과 할인 인자들을 학습하기 위한 원칙적인 방법을 제안한다. DCG를 선형 유틸리티 함수로 모델링하고, 이차계획법을 통해 매개변수를 해결한다. 이 방법은 DCG의 일관성과 효과성을 향상시키며, 시뮬레이션을 통해 학습된 매개변수가 즉각적인 설정보다 더 신뢰할 수 있는 순위 평가를 제공한다는 것을 보여준다.

ABSTRACT

Evaluation metrics are an essential part of a ranking system, and in the past many evaluation metrics have been proposed in information retrieval and Web search. Discounted Cumulated Gains (DCG) has emerged as one of the evaluation metrics widely adopted for evaluating the performance of ranking functions used in Web search. However, the two sets of parameters, gain values and discount factors, used in DCG are determined in a rather ad-hoc way. In this paper we first show that DCG is generally not coherent, meaning that comparing the performance of ranking functions using DCG very much depends on the particular gain values and discount factors used. We then propose a novel methodology that can learn the gain values and discount factors from user preferences over rankings. Numerical simulations illustrate the effectiveness of our proposed methods. Please contact the authors for the full version of this work.

연구 동기 및 목표

• DCG의 다양한 이득 값과 할인 인자들이 순위 함수 평가에 일관성 없이 영향을 미치는가를 조사하기 위해.
• 현재 즉각적인 방식으로 선택되고 있는 DCG의 원칙적인 매개변수 선택 부족 문제를 해결하기 위해.
• 사용자 선호 평가를 기반으로 DCG 매개변수를 유추하는 학습 프레임워크를 개발하기 위해.
• DCG를 선형 유틸리티 함수로 모델링하고, 선호 기반 최적화를 통해 그 매개변수를 학습하기 위해.
• 수치 시뮬레이션을 통해 방법의 타당성과 효과성을 평가하기 위해.

제안 방법

• 이득 벡터와 할인 인자를 학습 가능한 매개변수로 하는 선형 유틸리티 함수로 DCG를 수식화하기 위해.
• 사용자 선호도를 쌍별 순위로 모델링하여, 한 순위가 다른 순위보다 선호됨을 표현하기 위해.
• 관찰된 선호도와 가장 잘 일치하는 이득 벡터와 할인 인자를 학습하기 위한 이차계획법 최적화 문제를 구성하기 위해.
• 순서 일관성 강제 조건을 적용하기 위해: 이득 값은 감소해야 하며, 할인 인자는 엄격히 감소해야 한다.
• 거리 측정법(예: 하미ング 거리)을 도입하여 순위 간의 선호도 차이의 크기를 반영함으로써 향상된 모델을 구성하기 위해.
• 문서 등급이 없는 경우, 순위를 이진 벡터로 표현하고 선호도 쌍에서 직접 유틸리티 가중치를 학습하기 위해.

실험 결과

연구 질문

• RQ1 DCG의 이득 값과 할인 인자의 선택이 다양한 순위 함수의 상대적 성능 순위 평가에 상당한 영향을 미치는가?
• RQ2 사용자 선호도에서 매개변수를 학습함으로써 DCG를 일관성 있게 만들 수 있는가?
• RQ3 선호 데이터를 사용하여 DCG 매개변수를 선형 유틸리티 함수로 학습할 수 있는가?
• RQ4 제안된 이차계획법 접근법이 의미 있는 DCG 매개변수를 학습하는 데 얼마나 효과적인가?
• RQ5 문서 등급이 제공되지 않는 경우에도 이 방법이 일반화될 수 있는가?

주요 결과

• 일반적으로 DCG는 일관성이 없다: 서로 다른 매개변수 조합이 순위 함수 평가에서 충돌을 일으킬 수 있으며, 특히 두 개 이상의 관련성 등급을 사용할 경우 더욱 심해진다.
• 제안된 방법은 이차계획법을 사용하여 사용자 선호도에서 DCG 매개변수를 성공적으로 학습하여 평가의 일관성을 향상시켰다.
• 순위 간의 거리 측정법을 포함한 향상된 모델은 기본 모델 대비 제한적이지만 명확한 성능 향상을 보였다.
• 문서 등급에 접근할 수 없는 경우에도, 이 방법은 선호도 쌍에서 유틸리티 가중치를 정확히 학습할 수 있었으며, 효과적인 순위 평가를 가능하게 하였다.
• 시뮬레이션 결과, 학습된 매개변수가 즉각적인 설정보다 더 신뢰할 수 있고 일관성 있는 성능 비교를 제공한다는 것이 입증되었다.
• 이 방법은 강건하고 확장 가능하며, 학습 선호도 쌍의 수가 증가할수록 정밀도가 향상된다.