[논문 리뷰] TopRank: A practical algorithm for online stochastic ranking

Tor Lattimore, Branislav Kveton외 2명|arXiv (Cornell University)|2018. 06. 06.

Advanced Bandit Algorithms Research참고 문헌 21인용 수 12

한 줄 요약

TopRank는 기존 클릭 모델을 일반화하는 새로운 온라인 스토하스틱 랭킹 알고리즘을 제안한다. 이 알고리즘은 노이즈가 있는 클릭 피드백 기반으로 항목 간 부분 순서를 유지하고 개선하기 위해 위상 정렬을 사용한다. 기존의 BatchRank 및 CascadeKL-UCB와 같은 방법들에 비해 더 강한 리그레트 한계, 더 단순한 분석, 더 뛰어난 경험적 성능을 달성한다. 특히 비균일한 클릭 모델에서 두각을 나타낸다.

ABSTRACT

Online learning to rank is a sequential decision-making problem where in each round the learning agent chooses a list of items and receives feedback in the form of clicks from the user. Many sample-efficient algorithms have been proposed for this problem that assume a specific click model connecting rankings and user behavior. We propose a generalized click model that encompasses many existing models, including the position-based and cascade models. Our generalization motivates a novel online learning algorithm based on topological sort, which we call TopRank. TopRank is (a) more natural than existing algorithms, (b) has stronger regret guarantees than existing algorithms with comparable generality, (c) has a more insightful proof that leaves the door open to many generalizations, (d) outperforms existing algorithms empirically.

연구 동기 및 목표

• 기존 클릭 모델의 온라인 랭킹 학습에서의 한계를 해결하기 위해 이전의 모델들을 포함하는 더 일반적이고 유연한 모델을 제안하는 것.
• 조합 최적화 행동 공간을 갖는 랭킹 문제를 노이즈가 있는 부분 피드백으로 다룰 수 있는 원칙적인 온라인 학습 알고리즘을 개발하는 것.
• 특히 Zoghi 등(2017)의 연구에 비해 리그레트 보장을 향상시키고 이론적 분석을 단순화하는 것.
• 기존 알고리즘이 실패하거나 성능이 떨어지는 경우에도 다양한 클릭 모델에서 견고한 경험적 성능을 보여주는 것.
• 더 깊이 있는 통찰력과 모듈화된 증명 구조를 도입하여 향후 일반화의 기반을 마련하는 것.

제안 방법

• 항목의 매력도와 위치에 따라 클릭 확률이 결정되는 일반화된 클릭 모델을 제안하며, 별도의 검토 및 매력도 항목으로 분해하지 않는다.
• 랭킹 문제를 노이즈가 있는 정렬 작업으로 재정의하여, 클릭 피드백으로부터 항목의 진정한 매력도 순서를 복원하는 것을 목표로 한다.
• 관측된 클릭을 사용해 부분 순서를 점진적으로 갱신하는 위상 정렬 기반 알고리즘인 TopRank를 설계한다.
• 불확실한 항목 간 비교를 탐색하기 위해 신뢰도 구간 접근법을 사용하여 행동을 선택한다.
• 시간에 따라 변화하는 신뢰도 폭(δ = 1/n)을 갖는 UCB 스타일의 탐색 전략을 적용하여 탐색과 이용의 균형을 이룬다.
• 이전의 접근 방식보다 더 단순하고 통찰력 있는 새로운 분석 기법을 사용해 리그레트 한계를 증명하며, 더 약한 가정 조건 하에서도 성립한다.

실험 결과

연구 질문

• RQ1 위치 기반 모델, 캐스케이드 모델, 인수 분해 모델을 모두 일반화할 수 있는 통합 클릭 모델을 제안할 수 있는가?
• RQ2 위상 정렬 기반 알고리즘이 기존 온라인 랭킹 알고리즘보다 더 나은 리그레트 보장을 달성하고 경험적으로 더 뛰어난 성능을 낼 수 있는가?
• RQ3 캐스케이드 모델과 위치 기반 모델 모두에서 TopRank의 성능은 CascadeKL-UCB와 같은 모델 전용 알고리즘과 비교해 어떻게 되는가?
• RQ4 모델의 일반성은 온라인 랭킹에서 리그레트와 샘플 효율성에 어떤 영향을 미치는가?
• RQ5 노이즈가 있는 피드백을 갖는 조합 밴디트 문제에 대해 더 단순하고 통찰력 있는 리그레트 분석을 개발할 수 있는가?

주요 결과

• TopRank는 더 일반적인 모델임에도 불구하고 BatchRank보다 더 강한 리그레트 보장을 확보하고, CascadeKL-UCB와 같은 모델 전용 알고리즘과 비교해도 유사하거나 더 뛰어난 성능을 보인다.
• 캐스케이드 모델에서는 TopRank가 BatchRank를 능가하며, CascadeKL-UCB에 비해 약 3배 이내의 성능을 기록한다. 이는 모델 지식을 활용하는 알고리즘에 비해 매우 경쟁력 있는 성능이다.
• 위치 기반 모델에서는 TopRank가 BatchRank를 크게 능가하며, 60개의 질의 동안 평균 리그레트가 30% 낮게 나타난다.
• TopRank는 모델 잘못 설정에 대해 뛰어난 내성성을 보이며, 특히 후자의 알고리즘이 선형 리그레트를 겪는 위치 기반 모델 사례에서 CascadeKL-UCB를 능가한다.
• 캐스케이드 모델에서는 TopRank의 리그레트는 BatchRank의 약 3배 낮고, CascadeKL-UCB의 약 3배 높다. 이는 일반성과 성능 사이의 유리한 트레이드오프를 보여준다.
• TopRank의 이론적 분석은 이전 연구에 비해 더 단순하고 통찰력이 있으며, 향후 일반화 및 확장에 더 명확한 길을 제시한다.