[논문 리뷰] Predicting User Preferences

Pavel Sirotkin|arXiv (Cornell University)|2011. 03. 15.

Web Data Mining and Analysis참고 문헌 12인용 수 3

한 줄 요약

이 논문은 검색 결과에서 검색 메트릭이 실제 사용자 선호도를 얼마나 잘 예측하는지 평가하기 위한 새로운 측정 기준을 제안한다. 이 측정 기준을 사용하여, 할인 누적 수익(DCG)이 평균 평균 정밀도(MAP)와 전통적 정밀도보다 뛰어나며, 놀랍게도 더 많은 결과를 포함할수록 메트릭의 예측 능력이 떨어지는 것으로 밝혀졌다.

ABSTRACT

The many metrics employed for the evaluation of search engine results have not themselves been conclusively evaluated. We propose a new measure for a metric's ability to identify user preference of result lists. Using this measure, we evaluate the metrics Discounted Cumulated Gain, Mean Average Precision and classical precision, finding that the former performs best. We also show that considering more results for a given query can impair rather than improve a metric's ability to predict user preferences.

연구 동기 및 목표

• 기존 검색 평가 메트릭에 대한 결론적인 평가 부족 문제를 해결하기 위해.
• 메트릭이 실제 사용자 선호도를 얼마나 잘 예측하는지 정량적으로 평가할 수 있는 새로운 측정 기준을 개발하기 위해.
• 일반적으로 사용되는 메트릭들인 DCG, MAP, 전통적 정밀도의 예측 성능을 비교하기 위해.
• 결과 목록 길이가 메트릭의 사용자 선호도 예측 능력에 미치는 영향을 조사하기 위해.

제안 방법

• 사용자 행동 데이터를 기반으로 메트릭의 사용자 선호도 예측 능력을 평가할 수 있는 새로운 측정 기준을 제안한다.
• 실제 사용자 선호도 데이터를 사용하여 제안된 측정 기준을 校정하고 검증한다.
• 할인 누적 수익(DCG), 평균 평균 정밀도(MAP), 전통적 정밀도의 세 가지 표준 메트릭을 평가하기 위해 이 측정 기준을 적용한다.
• 각 쿼리당 고려하는 결과 수를 체계적으로 변화시켜 예측 성능에 미치는 영향을 평가한다.
• 통계적 분석을 통해 다양한 목록 길이에서 각 메트릭의 예측 정확도를 비교한다.
• 실제 검색 평가 환경에서의 실증 데이터를 사용하여 결과를 검증한다.

실험 결과

연구 질문

• RQ1 표준 검색 메트릭은 검색 결과에서 실제 사용자 선호도를 얼마나 잘 예측할 수 있는가?
• RQ2 DCG, MAP, 전통적 정밀도 중에서 어느 메트릭이 사용자 선호도를 가장 정확하게 예측하는가?
• RQ3 결과 목록의 결과 수를 늘리면 메트릭의 사용자 선호도 예측 능력은 향상되는가, 아니면 악화되는가?
• RQ4 메트릭의 예측 능력을 극대화하기 위한 최적의 목록 길이는 얼마인가?

주요 결과

• 할인 누적 수익(DCG)은 평가된 메트릭들 중에서 가장 높은 예측 성능를 보였다.
• 평균 평균 정밀도(MAP)는 사용자 선호도 예측에서 DCG보다 열등한 성능를 보였다.
• 전통적 정밀도는 테스트한 세 메트릭 중에서 가장 낮은 예측 능력을 보였다.
• 결과 목록의 결과 수를 늘릴수록 모든 메트릭의 예측 능력이 떨어지며, 이는 일반적인 직관과 반대된다.
• 이 연구는 더 긴 결과 목록이 메트릭의 사용자 선호도 예측 능력을 떨어뜨리며, 특정 목록 길이를 초과하면 수익 감소 효과가 나타남을 밝혀냈다.