[논문 리뷰] A Novel Algorithm for Unbiased Learning to Rank.

Ziniu Hu, Yang Wang외 2명|arXiv (Cornell University)|2018. 09. 16.

Information Retrieval and Search Behavior참고 문헌 26인용 수 3

한 줄 요약

이 논문은 클릭 데이터에서 양측 위치(클릭된 위치 및 클릭되지 않은 위치)의 위치 기반 클릭 편향을 동시에 추정함으로써 편향이 없는 훈련을 가능하게 하는 새로운 쌍별 학습-순위 매기기 알고리즘을 제안한다. 이는 편향 추정과 랭커 학습을 통합된 쌍별 프레임워크 내에서 수행함으로써, 이전의 IPW 기반 접근 방식보다 랭킹 성능을 크게 향상시킨다. 벤치마크 실험과 실세계 상용 검색 엔진에서의 온라인 A/B 테스트를 통해 검증되었다.

ABSTRACT

Although click data is widely used in search systems in practice, so far the inherent bias, most notably position bias, has prevented it from being used in training of a ranker for search, i.e., learning-to-rank. Recently, a number of authors have proposed new techniques referred to as 'unbiased learning-to-rank', which can reduce position bias and train a relatively high-performance ranker using click data. Most of the algorithms, based on the inverse propensity weighting (IPW) principle, first estimate the click bias at each position, and then train an unbiased ranker with the estimated biases using a learning-to-rank algorithm. However, there has not been a method for pairwise learning-to-rank that can jointly conduct debiasing of click data and training of a ranker using a pairwise loss function. In this paper, we propose a novel algorithm, which can jointly estimate the biases at click positions and the biases at unclick positions, and learn an unbiased ranker. Experiments on benchmark data show that our algorithm can significantly outperform existing algorithms. In addition, an online A/B Testing at a commercial search engine shows that our algorithm can effectively conduct debiasing of click data and enhance relevance ranking.

연구 동기 및 목표

• 클릭 신호를 효과적인 검색 랭커 훈련에 활용하는 데 제약가 되는 클릭 데이터 내의 위치 편향 문제를 해결한다.
• 클릭된 위치와 클릭되지 않은 위치를 별도로 다루거나 쌍별 학습-순위 매기기 기능을 지원하지 못하는 기존의 역확률 가중치(IPW) 방법의 한계를 극복한다.
• 클릭된 위치와 클릭되지 않은 위치의 양측에서 편향을 동시에 추정하면서 편향 없는 랭커를 훈련하는 통합 프레임워크를 개발한다.
• 편향 없는 학습-순위 매기기에서 흔치 않은 쌍별 손실 함수의 사용을 가능하게 하여, 현재의 편향 없는 학습-순위 매기기 문헌에서 드물게 관찰되는 요소를 실현한다.
• 실제 검색 시스템에서의 오프라인 벤치마크 평가와 온라인 A/B 테스트를 통해 제안된 방법의 유효성을 입증한다.

제안 방법

• 클릭된 위치와 클릭되지 않은 위치의 클릭 편향을 통합된 확률적 수식을 사용해 동시에 모델링하는 공동 최적화 프레임워크를 제안한다.
• 역확률 가중치(IPW) 원리를 확장하여, 클릭된 위치뿐만 아니라 클릭되지 않은 위치의 고려를 위해 그들의 출현 확률 점수를 추정함으로써 적용한다.
• 편향 추정과 랭커 훈련을 하나의 쌍별 학습-순위 매기기 목적 함수에 통합하며, 추정된 출현 확률을 포함하는 미분 가능한 손실 함수를 사용한다.
• 엔드 투 엔드 훈련 중에 관련성 점수와 위치 기반 편향을 동시에 예측하기 위해 신경망 또는 미분 가능한 모델을 사용한다.
• 클릭된 항목과 클릭되지 않은 항목 양측에 대해 추정된 역확률로 보정된 쌍별 랭킹 손실(예: 쌍별 허프 또는 로지스틱 손실)을 적용한다.
• 모델이 편향 제거된 쌍별 랭킹 오차를 최소화하도록 훈련되어, 예측의 일반화 능력 향상과 위치 편향 감소를 보장한다.

실험 결과

연구 질문

• RQ1 쌍별 학습-순위 매기기 알고리즘이 클릭된 위치와 클릭되지 않은 위치 양측에서 편향을 동시에 추정함으로써 클릭 데이터 내의 위치 편향을 줄일 수 있는가?
• RQ2 편향 추정과 랭커 훈련을 하나의 미분 가능한 프레임워크 내에서 통합하면 별도의 추정과 훈련 방식보다 더 나은 일반화 성능을 달성할 수 있는가?
• RQ3 제안된 방법은 기준 벤치마크 데이터셋에서 기존의 IPW 기반 편향 없는 학습-순위 매기기 방법과 비교해 랭킹 성능에서 어떻게 다른가?
• RQ4 제안된 알고리즘이 실세계 상용 검색 엔진에서 온라인 A/B 테스트를 통해 관련성 랭킹 향상을 이룰 수 있는가?

주요 결과

• 제안된 알고리즘이 표준 벤치마크 데이터셋에서 기존의 편향 없는 학습-순위 매기기 방법보다 뚜렷이 뛰어난 성능을 보이며, 랭킹 효과성 향상을 입증한다.
• 클릭된 위치와 클릭되지 않은 위치 양측에서의 편향 공동 추정은 오직 클릭된 위치만 모델링하는 방법보다 더 정확한 편향 제거를 가능하게 한다.
• 편향 제거 프레임워크 내에서 쌍별 손실 함수를 사용함으로써, 점별 또는 리스트 기반 기준 대비 더 나은 일반화와 더 안정적인 훈련이 가능하다.
• 실세계 상용 검색 엔진에서의 온라인 A/B 테스트를 통해 알고리즘이 위치 편향을 효과적으로 줄임으로써 관련성 랭킹 향상을 확인하였다.
• NDCG 및 MAP와 같은 표준 정보 검색 지표에서의 측정 가능한 향상은 더 강력한 모델 일반화 및 강인성을 나타낸다.
• 성공적인 생산 검색 시스템 통합을 통해 알고리즘이 실세계 적용에 대해 확장 가능하고 실용적임을 입증하였다.