[논문 리뷰] Online Learning to Rank in Stochastic Click Models

Masrour Zoghi, Tomáš Tunys외 4명|arXiv (Cornell University)|2017. 03. 07.

Advanced Bandit Algorithms Research참고 문헌 22인용 수 41

한 줄 요약

이 논문은 캐스케이드 및 포지션 기반 모델을 포함한 광범위한 스토케스틱 클릭 모델에 적용 가능한 첫 번째 온라인 러닝 투 랭킹 알고리즘인 BatchRank을 소개한다. 이 알고리즘은 갭-의존적 리그레트 한계를 제공하며, 웹 검색 쿼리 전반에서 기존 방법들인 랭크드 밴디트 및 CascadeKL-UCB에 비해 강건성과 성능 면에서 뛰어나다.

ABSTRACT

Online learning to rank is a core problem in information retrieval and machine learning. Many provably efficient algorithms have been recently proposed for this problem in specific click models. The click model is a model of how the user interacts with a list of documents. Though these results are significant, their impact on practice is limited, because all proposed algorithms are designed for specific click models and lack convergence guarantees in other models. In this work, we propose BatchRank, the first online learning to rank algorithm for a broad class of click models. The class encompasses two most fundamental click models, the cascade and position-based models. We derive a gap-dependent upper bound on the $T$-step regret of BatchRank and evaluate it on a range of web search queries. We observe that BatchRank outperforms ranked bandits and is more robust than CascadeKL-UCB, an existing algorithm for the cascade model.

연구 동기 및 목표

• 다양한 클릭 모델에 걸쳐 일반화 가능한 온라인 러닝 투 랭킹 알고리즘이 부족한 문제를 해결하기 위해.
• 캐스케이드 및 포지션 기반 모델과 같은 기본 클릭 모델 전반에서 작동하는 통합 알고리즘 개발을 위해.
• 제안된 알고리즘에 대해 모델 갭 기반 리그레트 보장을 이론적으로 제공하기 위해.
• 실세계 웹 검색 쿼리에서 알고리즘의 성능과 강건성 평가를 위해.

제안 방법

• BatchRank는 캐스케이드 및 포지션 기반 모델을 포함한 광범위한 스토케스틱 클릭 모델을 대상으로 설계되었다.
• 알고리즘은 샘플 효율성과 온라인 학습의 안정성을 향상시키기 위해 배치 업데이트 메커니즘을 사용한다.
• 성능을 T 단계 동안 정량화하는 갭-의존적 리그레트 상한을 유도한다.
• 사용자 클릭 피드백을 활용해 실시간으로 문서 랭킹을 반복적으로 업데이트한다.
• 경미한 클릭 행동 가정 하에 이론적 분석을 통해 수렴성과 리그레트 한계를 확립한다.

실험 결과

연구 질문

• RQ1 다양한 기본 클릭 모델에 효과적으로 작동하는 단일 온라인 러닝 투 랭킹 알고리즘이 가능한가?
• RQ2 이러한 일반 목적 알고리즘에 대해 유도할 수 있는 이론적 리그레트 한계는 무엇인가?
• RQ3 실제로 기존의 모델 특화 방법과 비교해 성능은 어떻게 되는가?
• RQ4 다양한 클릭 모델 가정 하에서 이전 접근 방식에 비해 더 강건한가?

주요 결과

• BatchRank는 T 단계 동안 갭-의존적 리그레트 한계를 확보하여 수렴성에 대한 이론적 근거를 제공한다.
• 실증 평가 결과, BatchRank는 여러 웹 검색 쿼리에서 랭크드 밴디트에 비해 랭킹 품질 면에서 뛰어나다.
• 기존 캐스케이드 모델 전용 알고리즘인 CascadeKL-UCB보다 BatchRank가 더 강건함을 입증한다.
• 이전 방법들이 한 모델에 국한되는 것과는 달리, 알고리즘은 캐스케이드 및 포지션 기반 클릭 모델 전반에 효과적으로 일반화된다.