[논문 리뷰] Cascading Bandits: Learning to Rank in the Cascade Model

Branislav Kveton, Csaba Szepesvári외 2명|arXiv (Cornell University)|2015. 02. 10.

Advanced Bandit Algorithms Research참고 문헌 29인용 수 110

한 줄 요약

이 논문은 사용자가 순서대로 정렬된 목록에서 가장 먼저 매력적인 항목을 선택하는 캐스케이드 모델에서 랭킹을 학습하기 위한 스토하스틱 조합적 부분 관측 프레임워크인 캐스케이드 밴디트를 소개한다. 저자들은 두 가지 UCB 기반 알고리즘인 CascadeUCB1과 CascadeKL-UCB를 제안하고, 갭-의존적 리그레트 한계를 확립하여 유도된 하한선과 로그 인자까지 일치시키며, 모델 위반 조건에서도 강력한 이론적 및 실험적 성능을 입증한다.

ABSTRACT

A search engine usually outputs a list of $K$ web pages. The user examines this list, from the first web page to the last, and chooses the first attractive page. This model of user behavior is known as the cascade model. In this paper, we propose cascading bandits, a learning variant of the cascade model where the objective is to identify $K$ most attractive items. We formulate our problem as a stochastic combinatorial partial monitoring problem. We propose two algorithms for solving it, CascadeUCB1 and CascadeKL-UCB. We also prove gap-dependent upper bounds on the regret of these algorithms and derive a lower bound on the regret in cascading bandits. The lower bound matches the upper bound of CascadeKL-UCB up to a logarithmic factor. We experiment with our algorithms on several problems. The algorithms perform surprisingly well even when our modeling assumptions are violated.

연구 동기 및 목표

• 사용자 클릭 행동이 캐스케이드 모델을 따를 때 웹 검색에서 항목을 랭킹하는 데 도전하는 문제를 해결하기 위해.
• 비선형 보상과 부분 피드백을 갖는 스토하스틱 조합적 부분 관측 문제로 학습 문제를 공식화하기 위해.
• L개 후보 중 K개의 가장 매력적인 항목을 식별하는 데 리그레트를 최소화하는 효율적인 알고리즘을 설계하기 위해.
• 상한선과 하한선 모두를 포함한 이론적 리그레트 한계를 확립하고, 로그 인자까지의 정확도를 입증하기 위해.
• 실세계 유사 문제에서 알고리즘을 실험적으로 평가하여 모델링 가정 위반에 대한 강건성 확보하기 위해.

제안 방법

• 에이전트가 L개에서 K개의 항목을 선택하고, 첫 번째 클릭된 항목의 인덱스만 관측하는 조합적 밴디트 문제로 캐스케이드 모델을 공식화한다.
• CombUCB1 알고리즘을 기반으로 한 CascadeUCB1을 설계하여, 항목의 매력도 확률에 대한 상한 신뢰 구간을 사용해 탐색과 이용의 균형을 이룬다.
• KL-UCB에 영감을 얻은 CascadeKL-UCB를 설계하여, 칼리브라-라이블러 발산을 사용해 신뢰 구간을 계산하고, 클릭 확률이 낮은 환경에서 더 나은 성능을 기대한다.
• 관측된 클릭 인덱스를 바탕으로, 클릭된 항목 이전의 항목들은 매력적이지 않다(클릭되지 않음)고 추론하고, 이후 항목들은 관측되지 않았음을 추론한다.
• 매력도 확률의 차이를 기반으로 비최적 항목 선택의 기대 횟수를 분석하여 갭-의존적 리그레트 상한선을 유도한다.
• CascadeKL-UCB의 상한선과 로그 인자까지 일치하는 문제 특화 하한선을 증명하여, 근사 최적성의 입증을 위해.

실험 결과

연구 질문

• RQ1 제한된 피드백 조건에서 캐스케이드 모델에서 K개의 가장 매력적인 항목을 효과적으로 식별할 수 있는 학습 알고리즘이 존재하는가?
• RQ2 CascadeUCB1과 CascadeKL-UCB의 리그레트 한계는 항목 수 L과 최상위 항목과 비최적 항목 간 갭에 따라 어떻게 변화하는가?
• RQ3 제안된 리그레트 하한선은 타당한가? 그리고 최고 성능을 보이는 알고리즘의 성능과 일치하는가?
• RQ4 클릭 확률의 독립성과 같은 모델링 가정 위반에 대해 알고리즘은 얼마나 강건한가?
• RQ5 이 프레임워크는 부분 피드백이 있는 더 복잡한 랭킹 또는 라우팅 문제로 확장 가능한가?

주요 결과

• CascadeKL-UCB의 리그레트는 O(∑_{i: w_i < w^*} (w^* - w_i)^{-1} log T)로 유한하며, 유도된 하한선과 로그 인자까지 일치하여 근사 최적성을 시사한다.
• CascadeUCB1과 CascadeKL-UCB 모두 비선형 리그레트를 달성하며, 웹 검색에서 흔한 낮은 클릭 확률 환경에서는 CascadeKL-UCB가 더 뛰어난 성능을 보일 것으로 기대된다.
• 알고리즘은 캐스케이드 모델의 가정(예: 클릭의 독립성) 위반이 있을 경우에도 실질적으로 놀라울 정도로 잘 작동한다.
• 캐스케이드 밴디트의 리그레트 하한선은 Ω(L)이며, 항목 수 L이 커질수록 문제의 비타당성이 떨어짐을 시사한다.
• 추천 항목의 역순 정렬은 더 낮은 리그레트를 초래하며, 이는 피드백과 신뢰 구간의 구조에 의해 설명된다.
• 이 프레임워크는 고장 쉬운 연결을 갖는 네트워크에서 라우팅 경로를 학습하는 것과 같은 더 복잡한 문제로 확장 가능하다.