[논문 리뷰] DCM Bandits: Learning to Rank with Multiple Clicks

Sumeet Katariya, Branislav Kveton외 2명|arXiv (Cornell University)|2016. 02. 09.

Advanced Bandit Algorithms Research참고 문헌 22인용 수 47

한 줄 요약

이 논문은 다중 클릭을 활용한 랭킹 학습을 위한 새로운 온라인 학습 프레임워크인 DCM 밴디트를 소개한다. 이는 종속 클릭 모델(DCM)을 기반으로 하며, dcmKL-UCB 알고리즘을 제안하여 부분 피드백(클릭만)에서 효율적으로 학습한다. 문제를 캐스케ading 밴디트로 환원함으로써, 로그함수 요소를 제외한 최적의 리그레트 경계를 확보하고, 합성 및 실세계 실험 모두에서 베이스라인을 능가한다. 이는 모델 오Specification 상황에서도 성능을 유지한다.

ABSTRACT

A search engine recommends to the user a list of web pages. The user examines this list, from the first page to the last, and clicks on all attractive pages until the user is satisfied. This behavior of the user can be described by the dependent click model (DCM). We propose DCM bandits, an online learning variant of the DCM where the goal is to maximize the probability of recommending satisfactory items, such as web pages. The main challenge of our learning problem is that we do not observe which attractive item is satisfactory. We propose a computationally-efficient learning algorithm for solving our problem, dcmKL-UCB; derive gap-dependent upper bounds on its regret under reasonable assumptions; and also prove a matching lower bound up to logarithmic factors. We evaluate our algorithm on synthetic and real-world problems, and show that it performs well even when our model is misspecified. This work presents the first practical and regret-optimal online algorithm for learning to rank with multiple clicks in a cascade-like click model.

연구 동기 및 목표

• 사용자 만족도가 관측되지 않는 온라인 환경에서 다중 클릭을 고려한 랭킹 학습의 과제를 해결한다.
• 클릭 관측만을 기반으로 하는 부분 피드백 환경에서 DCM을 위한 계산 효율적인 온라인 학습 알고리즘을 개발한다.
• 특히 종료 확률의 순서가 알려져 있을 때의 합리적 가정 하에 제안된 알고리즘의 이론적 리그레트 경계를 수립한다.
• 합성 및 실세계 데이터에서 알고리즘의 성능을 실증적으로 평가하여, 모델 오Specification 상황에서도의 강건성을 평가한다.
• 기존의 밴디트 기반 알고리즘들(예: 랭크드 밴디트, 캐스케ading 밴디트)과 비교해 누적 리그레트와 학습 속도 측면에서 성능이 뛰어나다는 것을 입증한다.

제안 방법

• 사용자가 순차적 스캔 중에 다수의 항목을 클릭할 수 있는 상황를 고려해, 종속 클릭 모델(DCM)의 온라인 학습 변형인 DCM 밴디트를 제안한다.
• KL-UCB에 영감을 얻은 dcmKL-UCB 알고리즘을 도입하며, 관측된 클릭을 바탕으로 상위 신뢰도 구간을 사용해 탐색과 이용의 균형을 이룬다.
• 다중 클릭 DCM 문제를 단일 클릭 캐스케ading 밴디트 문제로 환원하는 새로운 감소 기법을 활용해 이론적 분석을 가능하게 한다.
• 위치에 따라 달라지는 종료 확률의 순서가 사전에 알려져 있다고 가정함으로써, 알고리즘이 가장 유망한 항목 위치를 추론할 수 있도록 한다.
• 간격 의존 리그레트 분석을 통해 누적 리그레트의 상한선을 유도하며, 로그함수 요소를 제외한 하한선과 일치함을 보인다.
• 직접 관측되지 않는 만족도 신호를 기반으로 클릭 패턴에서 사용자 만족도를 추론하는 보상 추정 전략을 활용한다.

실험 결과

연구 질문

• RQ1 사용자 만족도를 관측하지 못하는 상황에서, 다중 클릭을 효율적으로 활용하는 DCM을 위한 온라인 학습 알고리즘을 설계할 수 있는가?
• RQ2 종료 확률 순서가 알려져 있을 때, 부분 피드백(클릭만) 조건 하에서 다중 클릭 랭킹 학습에서 리그레트 최적성을 달성할 수 있는가?
• RQ3 제안된 dcmKL-UCB 알고리즘이 랭크드 밴디트 및 캐스케ading 밴디트와 비교해 리그레트 및 수렴 속도 측면에서 어떻게 성능을 내는가?
• RQ4 실제 적용 시 모델 가정(예: 종료 확률 순서의 사전 지식)이 위반될 경우 알고리즘이 여전히 강건한가?
• RQ5 이론적 리그레트 경계가 실세계 및 합성 환경에서의 실증 성능과 일치하는가?

주요 결과

• dcmKL-UCB 알고리즘은 합리적인 가정 하에 갭 의존 상한선이 증명된 바, 로그함수 요소를 제외한 최적의 리그레트 경계를 확보한다.
• 합성 실험에서 10,000라운드 시점에 랭크드 밴디트보다 최소 두 배 이상의 리그레트 감소를 달성한다.
• 실증 결과에 따르면, 모델 오Specification 상황에서도 성능이 우수한데, 특히 종료 확률 순서 가정이 위반된 경우에 두드러진다.
• 기존 기반 알고리즘보다 더 빠른 학습 수렴 속도를 보이며, 실질적인 랭킹 문제에서의 효율성을 입증한다.
• 캐스케ading 밴디트로의 감소 기법은 이론적 분석을 가능하게 하면서도 DCM의 다중 클릭 특성을 유지함으로써 핵심적인 기술 기여를 한다.
• dcmKL-UCB의 리그레트는 공통 종료 확률 γ에 대해 선형이 아니며, 이는 이론적 경계가 더 향상될 수 있음을 시사한다.