[논문 리뷰] Leveraging Side Observations in Stochastic Bandits

Stéphane Caron, Branislav Kveton외 2명|arXiv (Cornell University)|2012. 10. 16.

Advanced Bandit Algorithms Research참고 문헌 20인용 수 66

한 줄 요약

이 논문은 스트로스틱 다손 락키 밴딧 문제에 대해 측정된 보조 관찰(한 개의 손잡이를 뽑은 후 관련된 손잡이들로부터의 보상)을 활용하는 UCB 기반 알고리즘을 제안한다. 이를 통해 학습 속도를 가속화한다. 사회 네트워크와 같은 구조적 관계를 활용함으로써 실재 데이터셋을 사용한 영화 추천 실험에서 표준 밴딧 접근 방식에 비해 최대 14배 빠른 학습 속도 향상을 달성하며, 이는 표준 밴딧 접근 방식보다 훨씬 향상된 리그레트 한계를 제공한다.

ABSTRACT

This paper considers stochastic bandits with side observations, a model that accounts for both the exploration/exploitation dilemma and relationships between arms. In this setting, after pulling an arm i, the decision maker also observes the rewards for some other actions related to i. We will see that this model is suited to content recommendation in social networks, where users' reactions may be endorsed or not by their friends. We provide efficient algorithms based on upper confidence bounds (UCBs) to leverage this additional information and derive new bounds improving on standard regret guarantees. We also evaluate these policies in the context of movie recommendation in social networks: experiments on real datasets show substantial learning rate speedups ranging from 2.2x to 14x on dense networks.

연구 동기 및 목표

• 관련된 손잡이들로부터의 보조 관찰을 통합하여 스트로스틱 밴딧 문제에서 탐색과 활용의 상충 관계를 해결한다.
• 사용자 반응이 다른 사람에게 영향을 주는 사회 네트워크 추천과 같은 실제 시나리오를 모델링한다.
• 손잡이 간의 관계를 활용하여 리그레트를 줄이고 학습 속도를 가속화하는 효율적인 알고리즘을 개발한다.
• 표준 밴딧 알고리즘에 비해 향상된 이론적 리그레트 한계를 유도한다.

제안 방법

• 관련된 손잡이들의 보조 관찰을 사용하여 확신 구간을 업데이트하는 UCB 기반 알고리즘을 설계한다.
• 한 손잡이를 뽑을 때 연결된 손잡이들의 보상을 노출시키는 방식으로 손잡이 간의 관계를 그래프로 모델링한다.
• 확신 구간 계산에 보조 관찰을 통합하여 불확실성을 더 효율적으로 감소시킨다.
• 손잡이 간의 의존성을 표현하기 위해 그래프 구조를 사용하여 관련된 행동들 간의 정보 공유를 가능하게 한다.
• 보조 관찰의 수와 그래프 구조에 따라 스케일링되는 이론적 리그레트 한계를 도출한다.
• 실제 사회 네트워크 데이터셋을 사용하여 성능을 평가하여 경험적 속도 향상을 검증한다.

실험 결과

연구 질문

• RQ1 관련된 손잡이들로부터의 보조 관찰을 어떻게 효과적으로 활용하여 스트로스틱 밴딧 문제에서의 학습 효율성을 향상시킬 수 있는가?
• RQ2 보조 관찰이 존재할 경우 도출할 수 있는 이론적 리그레트 한계는 무엇인가?
• RQ3 그래프 구조를 가진 손잡이 간의 관계는 추천 시스템에서 학습 속도와 리그레트에 어떤 영향을 미치는가?
• RQ4 실제로 최적의 손잡이를 식별하기 위해 필요한 뽑기 수를 보조 관찰이 얼마나 줄일 수 있는가?
• RQ5 이론적 보장을 유지하면서 UCB 기반 알고리즘을 보조 관찰을 활용하도록 어떻게 적응시킬 수 있는가?

주요 결과

• 제안된 알고리즘은 밀도 높은 사회 네트워크에서 표준 밴딧 방법에 비해 최대 14배 빠른 학습 속도 향상을 달성한다.
• 실제 영화 추천 데이터셋을 사용한 실험에서 2.2배에서 14배까지 일관된 속도 향상이 관찰되었다.
• 특히 연결성이 높은 그래프에서 보조 관찰을 통합함으로써 이론적 리그레트 한계가 향상된다.
• 보조 관찰은 최적의 행동으로 수렴하기 위해 필요한 뽑기 수를 크게 줄인다.
• 밀도 높은 네트워크 구조에서 표준 UCB보다 리그레트와 수렴 속도 측면에서 모두 뛰어난 성능을 보인다.
• 보조 관찰의 수에 따라 효율적으로 확장되면서도 이론적 보장을 유지한다.