[논문 리뷰] Minimally Invasive Randomization for Collecting Unbiased Preferences from Clickthrough Logs

Filip Radlinski, Thorsten Joachims|ArXiv.org|2006. 05. 09.

Information Retrieval and Search Behavior참고 문헌 17인용 수 53

한 줄 요약

이 논문은 검색 랭킹에서 인접한 결과 쌍을 랜덤으로 뒤바꿔 유저의 클릭 데이터를 비편향적으로 수집할 수 있는 FairPairs를 제안한다. 클릭 확률이 상대적 관련성에만 의존하도록 보장함으로써, 제시 방식 편향이 없는 훈련 데이터를 생성하여, 충분한 데이터가 있을 경우 학습-랭킹 알고리즘이 최적의 랭킹으로 수렴하도록 한다.

ABSTRACT

Clickthrough data is a particularly inexpensive and plentiful resource to obtain implicit relevance feedback for improving and personalizing search engines. However, it is well known that the probability of a user clicking on a result is strongly biased toward documents presented higher in the result set irrespective of relevance. We introduce a simple method to modify the presentation of search results that provably gives relevance judgments that are unaffected by presentation bias under reasonable assumptions. We validate this property of the training data in interactive real world experiments. Finally, we show that using these unbiased relevance judgments learning methods can be guaranteed to converge to an ideal ranking given sufficient data.

연구 동기 및 목표

• 학습-랭킹에 사용되는 클릭 데이터에서 널리 퍼져 있는 제시 방식 편향 문제를 해결하기 위해.
• 검색 품질을 해치지 않으면서 실제 사용자 행동으로부터 신뢰할 수 있는 관련성 피드백을 수집할 수 있는 방법을 개발하기 위해.
• 이론적으로 입증하고 실증적으로 검증하여 FairPairs를 통해 수집된 클릭 데이터가 결과 위치에 관계없이 비편향되었음을 입증하기 위해.
• FairPairs 데이터로 훈련된 학습-랭킹 모델이 충분한 데이터가 있을 경우 최적의 랭킹으로 수렴함을 보여주기 위해.

제안 방법

• FairPairs는 검색 랭킹에서 인접한 결과 쌍을 무작위로 바꿔 클릭 확률과 위치 간의 상관관계를 끊는다.
• 이 방법은 사용자가 결과가 이웃보다 더 관련성이 높을수록 클릭할 가능성이 높다는 가정을 한다. 이는 절대적 위치와는 무관하다.
• 클릭은 상대적 선호도 신호로 간주된다: 쌍의 하단 결과에 클릭이 발생하면, 이는 상단 결과보다 관련성이 더 높다고 판단된다는 의미이다.
• 알고리즘은 시간이 지남에 따라 모든 결과 쌍이 동일한 확률로 두 순서로 제시되도록 보장하여 상대적 관련성의 비편향된 추정이 가능하도록 한다.
• 이 방법은 최소한의 간섭을 가지며, 전체 랭킹 품질을 유지하면서 깔끔한 데이터 수집을 가능하게 한다.
• 이론적 분석을 통해 합리적인 가정 하에 수집된 선호도가 제시 방식 편향에 영향을 받지 않음을 증명한다.

실험 결과

연구 질문

• RQ1 결과 쌍의 랜덤화가 클릭 데이터의 위치 기반 편향을 제거할 수 있는가?
• RQ2 FairPairs 방법은 순위 위치가 아니라 진정한 상대적 관련성 반영하는 클릭 데이터를 생성하는가?
• RQ3 FairPairs 데이터로 훈련된 학습-랭킹 모델이 최적의 랭킹으로 수렴할 수 있는가?
• RQ4 FairPairs의 근거가 되는 가정들이 실제 검색 환경에서 타당한가?
• RQ5 FairPairs 데이터가 전문가의 관련성 평가와 일치하는가?

주요 결과

• 하단 결과가 상단 결과보다 관련성이 높을 경우, 하단 결과의 클릭 확률이 유의미하게 높아지며, 이는 방법의 타당성을 확인한다.
• 50위 결과가 상위 5위 결과와 쌍을 이루었을 때, 하단에 위치할 경우 클릭 가능성이 유의미하게 낮아지며, 이는 관련성이 클릭을 이끈다는 가설을 지지한다.
• 쌍 (1-2)와 (2-1) 간의 클릭 확률 차이가 통계적으로 유의미하여 상위 결과가 올바르게 순서가 지켜졌음을 시사한다.
• 50위 결과를 포함한 쌍들에 대해 첫 다섯 차이의 클릭 확률이 통계적으로 유의미하여, 이 방법이 낮은 순위의 관련성조차도 포착함을 보여준다.
• FairPairs를 통해 수집된 데이터는 전문가의 인간 평가와 상대적 관련성에서 일치하여 신뢰성의 타당성을 입증한다.
• 충분한 데이터가 있을 경우 FairPairs 데이터로 학습하는 것은 최적의 랭킹으로 수렴함이 보장되며, 이는 훈련에 적합함을 증명한다.