[논문 리뷰] Cascading Bandits for Large-Scale Recommendation Problems

Shi Zong, Hao Ni외 4명|arXiv (Cornell University)|2016. 03. 17.

Advanced Bandit Algorithms Research참고 문헌 12인용 수 82

한 줄 요약

이 논문은 항목 기능의 선형 함수로 항목 유인 확률을 모델링하는 스케일러블한 온라인 학습 프레임워크인 선형 캐스케이딩 밴디트를 제안한다. 기능 기반 일반화를 활용하여 저자들은 두 가지 효율적인 알고리즘—CascadeLinTS와 CascadeLinUCB—를 설계하였으며, 이는 후보 항목 수 L에 대한 의존도가 없는 레지트를 달성하여 실무에서의 구현이 가능해지며, 10만 개 이상의 항목을 포함하는 영화나 음악 추천과 같은 대규모 항목 환경에서 기존 기준보다 뚜렷이 뛰어난 성능을 발휘한다.

ABSTRACT

Most recommender systems recommend a list of items. The user examines the list, from the first item to the last, and often chooses the first attractive item and does not examine the rest. This type of user behavior can be modeled by the cascade model. In this work, we study cascading bandits, an online learning variant of the cascade model where the goal is to recommend $K$ most attractive items from a large set of $L$ candidate items. We propose two algorithms for solving this problem, which are based on the idea of linear generalization. The key idea in our solutions is that we learn a predictor of the attraction probabilities of items from their features, as opposing to learning the attraction probability of each item independently as in the existing work. This results in practical learning algorithms whose regret does not depend on the number of items $L$. We bound the regret of one algorithm and comprehensively evaluate the other on a range of recommendation problems. The algorithm performs well and outperforms all baselines.

연구 동기 및 목표

• 후보 항목 수 L이 매우 클 경우 기존 캐스케이딩 밴디트 알고리즘이 실용적이지 않다는 문제를 해결하기 위해.
• 사용자가 순서대로 정렬된 항목에서 첫 번째로 매력적인 항목을 선택하고 스캔을 중단하는 캐스케이딩 모델을 사용하여 순위 기반 추천에서 사용자 행동을 모델링하기 위해.
• 항목 기능을 활용하여 레지트 성장률을 L에 대한 선형에서 비선형으로 줄이는 스케일러블한 학습 프레임워크를 개발하기 위해.
• 선형 함수 근사 기반으로 항목 간 일반화를 수행하는 효율적인 알고리즘을 설계하여 실세계 추천 시스템에서의 실용적 구현을 가능하게 하기 위해.

제안 방법

• 기타 항목의 유인 확률이 알려진 항목 기능과 알려지지 않은 매개변수 벡터의 선형 함수임을 가정하는 선형 캐스케이딩 밴디트를 도입한다.
• 부분 관측이 가능한 캐스케이딩 피드백 설정에 톰슨 샘플링과 선형 UCB를 확장한 CascadeLinTS 및 CascadeLinUCB를 제안한다.
• 기능 벡터를 사용하여 항목 간 일반화를 수행함으로써 개별 항목 추정을 피하고 L에 대한 레지트 의존도를 감소시킨다.
• 완벽한 선형 일반화와 독립된 항목 유인을 가정할 때 CascadeLinUCB의 레지트에 상한을 도출한다.
• 알 수 없는 매개변수 벡터에 대한 신뢰집합 또는 사후분포를 유지하여 탐색과 이용의 균형을 이루는 알고리즘을 설계한다.
• 다양한 추천 작업—레스토랑, 음악, 영화—에서 CascadeLinTS의 성능을 실증적으로 평가한다.

실험 결과

연구 질문

• RQ1 캐스케이딩 피드백 하에서 후보 항목 수 L에 대한 선형 레지트 성장률을 피하는 스케일러블한 온라인 학습 알고리즘을 설계할 수 있는가?
• RQ2 어떻게 항목 기능을 활용하여 항목 간의 유인 확률 추정치를 일반화하고 샘플 복잡도를 줄일 수 있는가?
• RQ3 캐스케이딩 밴디트 설정에서 선형 일반화가 비선형 레지트를 유도하고 비일반화 기준 대비 실증 성능을 향상시키는가?
• RQ4 선형 모델 가정이 실제에서는 불완전하거나 위반되더라도 제안된 알고리즘이 강력한 성능을 유지할 수 있는가?
• RQ5 CascadeUCB1 및 컨텍스트 기반 순위 밴디트와 같은 기존 방법과 비교해 레지트 및 누적 보상 측면에서 제안된 알고리즘의 성능은 어떠한가?

주요 결과

• 제안된 CascadeLinTS 알고리즘은 10만 개 이상의 항목이 있는 대규모 추천 문제에서 CascadeUCB1과 같은 비일반화 기준 대비 수개의 순위를 뛰어넘는 성능을 달성한다.
• 기능 기반 일반화 덕분에 CascadeLinUCB의 레지트는 후보 항목 수 L에 따라 선형으로 증가하지 않으며, 상한이 존재한다.
• 실증 결과에 따르면 CascadeLinTS는 선형 모델 가정이 위배되더라도 잘 작동함을 보여주며, 모델 잘못 설정에 대한 강건성을 시사한다.
• 알고리즘은 대규모 항목 집합—예를 들어 10만 개의 영화—에 대해 효과적으로 스케일링되며, 실세계 추천 시스템에 실용적으로 적용 가능하다.
• 기능 기반 일반화가 기하학적 차원이 높은 항목 공간에서 특히 두드러지게 작용하여 포괄적인 탐색의 필요성을 줄인다.
• 결과적으로 선형 일반화가 산업 규모의 추천 시스템에서 캐스케이딩 밴디트의 실용적 구현을 가능하게 하는 핵심 요소임을 시사한다.