[논문 리뷰] Direct Estimation of Position Bias for Unbiased Learning-to-Rank without Intervention.

Grigor Aslanyan, Utkarsh Porwal|arXiv (Cornell University)|2018. 12. 21.

Information Retrieval and Search Behavior인용 수 4

한 줄 요약

이 논문은 동일한 쿼리-문서 쌍의 시간에 따른 자연스러운 순위 변화를 활용하여 랜킹 학습 시스템에서 위치 편향을 간접적이고 간섭 없이 추정하는 방법을 제안한다. 순위 변화에 의존하는 가능성 함수를 최대화함으로써 관련성 모델링이나 실시간 시스템 간섭 없이 신뢰할 수 있는 가능성 추정을 달성하며, 이베이 데이터에서의 비편향 랜킹 학습에서 기존 EM 기반 기준보다 뛰어난 성능을 보인다.

ABSTRACT

The Unbiased Learning-to-Rank framework has been recently proposed as a general approach to systematically remove biases, such as position bias, from learning-to-rank models. The method takes two steps - estimating click propensities and using them to train unbiased models. Most common methods proposed in the literature for estimating propensities involve some degree of intervention in the live search engine. An alternative approach proposed recently uses an Expectation Maximization (EM) algorithm to estimate propensities by using ranking features for estimating relevances. In this work we propose a novel method to directly estimate propensities which does not use any intervention in live search or rely on modeling relevance. Rather, we take advantage of the fact that the same query-document pair may naturally change ranks over time. This typically occurs for eCommerce search because of change of popularity of items over time, existence of time dependent ranking features, or addition or removal of items to the index (an item getting sold or a new item being listed). However, our method is general and can be applied to any search engine for which the rank of the same document may naturally change over time for the same query. We derive a simple likelihood function that depends on propensities only, and by maximizing the likelihood we are able to get estimates of the propensities. We apply this method to eBay search data to estimate click propensities for web and mobile search and compare these with estimates using the EM method. We also use simulated data to show that the method gives reliable estimates of the true simulated propensities. Finally, we train an unbiased learning-to-rank model for eBay search using the estimated propensities and show that it outperforms both baselines - one without position bias correction and one with position bias correction using the EM method.

연구 동기 및 목표

• 실시간 시스템 간섭 없이 랜킹 학습 시스템에서 위치 편향을 추정하는 문제를 해결하기 위해.
• 일반적으로 오류가 발생하기 쉬우며 추가 가정을 수반하는 문서 관련성 모델링이 필요 없도록 하기 위해.
• 시간이 지남에 따라 동일한 쿼리-문서 쌍의 자연스러운 순위 변화를 가능성 추정의 정보원으로 활용하는 방법을 개발하기 위해.
• 관찰 가능한 클릭 데이터와 순위 변화만을 사용하여 비편향 랜킹 학습 훈련을 가능하게 하여 모델의 일반화 능력을 향상시키기 위해.
• 실세계 검색 데이터(이베이) 및 시뮬레이션 데이터에서 제안된 방법의 신뢰성과 효과성을 검증하여 기존 EM 기반 접근보다 뛰어난 성능을 내는지 확인하기 위해.

제안 방법

• 동일한 쿼리-문서 쌍이 시간이 지남에 따라 변화하는 인기도, 시간에 따라 변하는 특성 또는 인덱스 업데이트로 인해 자연스럽게 발생하는 시간적 순위 변화를 활용한다.
• 관찰된 클릭 패턴과 시간 순서로 정렬된 순위 위치에 의존하는 가능성 함수를 정의한다.
• 중간 단계의 관련성 추정이 필요 없이 직접 가능성 함수를 최대화하여 특정 순위에 따른 클릭 가능성 추정을 수행한다.
• 실시간 간섭이나 문서 관련성에 대한 가정을 모두 회피하며, 관찰 가능한 순위 및 클릭 데이터에만 의존한다.
• 동일한 문서가 시간이 지남에 따라 동일한 쿼리에서 순위가 변화하는 모든 검색 시스템에 일반적으로 적용 가능한 방법이다.
• 닫힌 형태의 해법 또는 반복 최적화 전략을 사용하여 가능성 함수 최대화 문제를 해결함으로써 안정적이고 일관된 가능성 추정을 도출한다.

실험 결과

연구 질문

• RQ1 실시간 시스템 간섭이나 관련성 모델링 없이 위치 편향을 신뢰성 있게 추정할 수 있는가?
• RQ2 기존의 EM 기반 접근과 비교해 볼 때 제안된 방법은 진짜 클릭 가능성 추정에 얼마나 효과적인가?
• RQ3 직접적인 가능성 추정이 비편향 랜킹 학습 모델의 성능 향상에 기여하는가?
• RQ4 웹 검색 및 모바일 검색과 같은 다양한 검색 환경에서 이 방법의 일반화 능력은 어느 정도인가?
• RQ5 실세계 및 시뮬레이션 데이터 조건에서 다양한 데이터 환경에 대해 이 방법의 강인성은 어느 정도인가?

주요 결과

• 제안된 방법은 시뮬레이션 데이터와 실존하는 이베이 검색 데이터 모두에서 클릭 가능성 추정을 안정적으로 수행하며, 진짜 시뮬레이션 가능성과 매우 유사한 결과를 도출한다.
• 이베이의 웹 및 모바일 검색 데이터에서, 제안된 방법은 EM 기반 기준보다 위치 편향 추정에서 더 뛰어난 성능을 보이며, 더 정확한 가능성 점수를 제공한다.
• 제안된 가능성 추정을 사용하여 훈련된 비편향 랜킹 학습 모델은 보정되지 않은 모델과 EM 기반 추정을 사용한 모델보다 뛰어난 성능을 기록한다.
• 웹 및 모바일 검색 인터페이스 간의 일반화 능력이 뛰어나, 인터페이스 특화의 순위 동적 변화에 대해 강인함을 입증한다.
• 관련성 모델링과 실시간 간섭이 없더라도 추정 품질이 손상되지 않음을 확인하여, 이 방법의 실용성과 확장 가능성을 확인한다.
• 가능성 기반 최적화 프레임워크는 안정적으로 수렴하며, 다양한 평가 환경에서 일관된 결과를 도출한다.