[논문 리뷰] Efficient Learning in Large-Scale Combinatorial Semi-Bandits

Zheng Wen, Branislav Kveton외 1명|arXiv (Cornell University)|2014. 06. 28.

Advanced Bandit Algorithms Research참고 문헌 33인용 수 48

한 줄 요약

이 논문은 선형 일반화를 갖는 대규모 조합적 반반밴드이트 문제를 위한 효율적인 알고리즘인 조합적 선형 톰슨 샘플링(CombLinTS)과 조합적 선형 UCB(CombLinUCB)를 제안한다. 항목 특성에 대한 선형 모델을 활용함으로써, 두 알고리즘 모두 시간에 대해 비선형인 $L$-독립적 리그레트 한계를 달성하여 수천에서 수백만 개의 항목을 포함하는 문제에서 확장 가능하고 통계적으로 효율적인 학습을 가능하게 한다.

ABSTRACT

A stochastic combinatorial semi-bandit is an online learning problem where at each step a learning agent chooses a subset of ground items subject to combinatorial constraints, and then observes stochastic weights of these items and receives their sum as a payoff. In this paper, we consider efficient learning in large-scale combinatorial semi-bandits with linear generalization, and as a solution, propose two learning algorithms called Combinatorial Linear Thompson Sampling (CombLinTS) and Combinatorial Linear UCB (CombLinUCB). Both algorithms are computationally efficient as long as the offline version of the combinatorial problem can be solved efficiently. We establish that CombLinTS and CombLinUCB are also provably statistically efficient under reasonable assumptions, by developing regret bounds that are independent of the problem scale (number of items) and sublinear in time. We also evaluate CombLinTS on a variety of problems with thousands of items. Our experiment results demonstrate that CombLinTS is scalable, robust to the choice of algorithm parameters, and significantly outperforms the best of our baselines.

연구 동기 및 목표

• 항목 수 $L$가 처리 불가능할 정도로 큰 대규모 환경에서 기존 조합적 밴드이트 알고리즘의 비효율성을 해결한다.
• 표준 조합적 반반밴드이트 알고리즘에서 내재된 $\Omega(\sqrt{L})$ 리그레트 의존성을 항목 특성의 선형 구조를 활용해 극복한다.
• 실제로 수천에서 수백만 개의 항목을 포함하는 문제, 예를 들어 온라인 광고 및 네트워크 라우팅과 같은 문제에 스케일링 가능한 계산 효율성의 알고리즘을 개발한다.
• 합리적인 가정 하에 $L$에 독립적이고 시간에 대해 비선형인 이론적 리그레트 한계를 확립한다.
• 실험적으로 CombLinTS가 확장 가능하고 하이퍼파rameter에 대해 강건하며, 합성 및 실세계 데이터셋에서 기존 베이스라인보다 뚜렷이 뛰어나다는 것을 입증한다.

제안 방법

• 항목 특성에 대한 선형 일반화를 사용하여 조합적 반반밴드이트 문제에 톰슨 샘플링을 확장한 조합적 선형 톰슨 샘플링(CombLinTS)을 제안한다.
• 선형으로 파arameter화된 항목 가중치에 대한 신뢰구간을 사용하는 UCB 기반 대안인 조합적 선형 UCB(CombLinUCB)를 제안한다.
• 항목 가중치를 특성 벡터의 선형 함수로 모델링한다: $\mathbb{E}[w(e)] = \phi_e^T \theta^*$, 여기서 $\phi_e$는 항목 $e$의 특성 벡터이다.
• 공액 사전분포를 갖는 베이지안 선형 모델을 사용하여 $\theta^*$에 대한 사후분포를 유지함으로써, CombLinTS에서 효율적인 톰슨 샘플링을 가능하게 한다.
• 각 라운드에서 조합 최적화 문제를 해결하기 위해 효율적인 오프라인 오라클을 활용함으로써 계산 효율성을 확보하며, 오프라인 문제의 해법이 가능하다면 이는 유지된다.
• 추정된 가중치가 진짜 가중치에 가까운 고확률 사건에 조건을 두고, 농도 불등식과 행렬 노름을 사용하여 리그레트 한계를 유도한다.

실험 결과

연구 질문

• RQ1 대규모 문제에서 항목 수 $L$에 대해 독립적인 리그레트를 달성할 수 있는 조합적 밴드이트 알고리즘을 설계할 수 있는가?
• RQ2 항목 특성에 대한 선형 일반화는 조합적 반반밴드이트 문제에서 리그레트를 어떻게 효과적으로 감소시킬 수 있는가?
• RQ3 선형 일반화를 갖는 톰슨 샘플링과 UCB 기반 접근법은 큰 항목 집합으로 확장되면서도 이론적 리그레트 보장을 유지하는가?
• RQ4 이 알고리즘들은 수천 개의 항목을 포함하는 실세계 및 합성 데이터셋에서 실제로 어떻게 성능을 내는가?
• RQ5 제안된 알고리즘은 최소한의 수정으로 문맥 기반 조합적 반반밴드이트 문제로 확장될 수 있는가?

주요 결과

• CombLinTS와 CombLinUCB는 합리적인 가정 하에 시간 $n$에 대해 비선형인 $L$-독립적 리그레트 한계를 달성하며, 특히 $O(\sqrt{dn \log n})$이다.
• CombLinUCB의 리그레트 한계는 $R^\gamma(n) \leq \frac{2cK\lambda}{1-\gamma}\sqrt{\frac{dn\ln(1+nK\lambda^2/(d\sigma^2))}{\ln(1+\lambda^2/\sigma^2)}} + nK\delta$이며, $c$는 $\lambda$, $\sigma$, $\delta$를 포함한 특정 조건을 만족한다.
• 이론적 리그레트 한계는 $L = \infty$일 경우에도 유지되어 무한 항목 공간에 대한 강건성을 보여준다.
• 실험적 평가에서 CombLinTS는 수천 개의 항목을 포함하는 문제에 대해 확장 가능하고 하이퍼파rameter 설정에 대해 강건함을 입증하였다.
• CombLinTS는 합성 및 실세계 데이터셋에서 모든 기존 베이스라인 알고리즘보다 뚜렷이 뛰어난 성능을 보였다. 특히 실세계 이분 매칭 문제에서도 그러한 성능을 보였다.
• 분석 및 알고리즘은 자연스럽게 문맥 기반 조합적 반반밴드이트 문제로 확장 가능하여 적용 범위를 넓혔다.