[논문 리뷰] Thompson Sampling for Combinatorial Multi-armed Bandit with Probabilistically Triggered Arms

Alihan Hüyük, Cem Tekin|arXiv (Cornell University)|2018. 09. 07.

Advanced Bandit Algorithms Research인용 수 3

한 줄 요약

이 논문은 반응 확률이 확률적으로 유도되는 조합적 다중 손잡이 밴드잇 문제에 대해 조합적 톰슨 샘플링(CTS)을 제안한다. 보상 함수가 기대 기반 손잡이 결과에 대해 리프시츠 연속일 경우, O(∑ₘᵢ₌₁ log T / (pᵢΔᵢ))의 리그레트 한계를 확립하며, 실험에서 CUCB보다 CTS가 더 우수한 성능을 보임을 보여준다.

ABSTRACT

We analyze the regret of combinatorial Thompson sampling (CTS) for the combinatorial multi-armed bandit with probabilistically triggered arms under the semi-bandit feedback setting. We assume that the learner has access to an exact optimization oracle but does not know the expected base arm outcomes beforehand. When the expected reward function is Lipschitz continuous in the expected base arm outcomes, we derive $O(\sum_{i =1}^m \log T / (p_i \Delta_i))$ regret bound for CTS, where $m$ denotes the number of base arms, $p_i$ denotes the minimum non-zero triggering probability of base arm $i$ and $\Delta_i$ denotes the minimum suboptimality gap of base arm $i$. We also show that CTS outperforms combinatorial upper confidence bound (CUCB) via numerical experiments.

연구 동기 및 목표

• 조합적 다중 손잡이 밴드잇에서 확률적으로 유도되는 손잡이를 가진 조합적 톰슨 샘플링(CTS)의 리그레트 성능을 분석하는 것.
• 기대 보상 함수가 리프시츠 연속일 경우, 반응형 밴드잇 피드백 하에서 CTS의 이론적 리그레트 한계를 확립하는 것.
• 리그레트 성능 측면에서 조합적 상한 신뢰도 기반 알고리즘(CUCB)과 CTS를 실증적으로 비교하는 것.
• 유도 확률과 부분 최적성 갭이 CTS 리그레트에 미치는 영향을 조사하는 것.

제안 방법

• CTS는 기대 기반 손잡이 결과의 사후 분포에서 샘플링하기 위해 톰슨 샘플링을 사용한다.
• 모든 라운드에서 최적의 조합적 손잡이를 선택하기 위해 정확한 최적화 오라클에 액세스할 수 있다고 가정한다.
• 리그레트 분석의 매끄러움을 보장하기 위해 보상 함수가 기대 기반 손잡이 결과에 대해 리프시츠 연속이라고 가정한다.
• 리그레트 한계는 농도 부등식과 유도 확률, 부분 최적성 갭의 성질을 사용하여 유도된다.
• 선택된 손잡이의 일부가 확률적으로 추가 보상을 유도할 수 있는 확률적 유도를 고려한 분석이다.
• 수치 실험은 동일한 설정 하에서 CTS와 CUCB의 리그레트 성능을 평가하기 위해 실시된다.

실험 결과

연구 질문

• RQ1 확률적으로 유도되는 손잡이 설정 하에서 조합적 톰슨 샘플링(CTS)의 이론적 리그레트 한계는 무엇인가?
• RQ2 보상 함수의 리프시츠 연속성이 CTS의 리그레트 성능에 어떤 영향을 미치는가?
• RQ3 리그레트 측면에서 CTS는 실증적으로 조합적 상한 신뢰도 기반 알고리즘(CUCB)과 어떻게 비교되는가?
• RQ4 최소 유도 확률(pᵢ)과 부분 최적성 갭(Δᵢ)은 리그레트 한계에서 어떤 역할을 하는가?
• RQ5 동일한 피드백 및 최적화 제약 조건 하에서 CTS는 CUCB보다 더 나은 리그레트 성능을 달성할 수 있는가?

주요 결과

• 논문은 주어진 가정 하에서 CTS에 대해 O(∑ₘᵢ₌₁ log T / (pᵢΔᵢ))의 리그레트 한계를 확립한다.
• 리그레트 한계는 각 기반 손잡이의 최소 비영 유도 확률(pᵢ)의 역수와 부분 최적성 갭(Δᵢ)에 의존한다.
• 수치 실험에서 CTS가 CUCB를 능가함을 입증하여, 더 뛰어난 실증 성능을 보임을 확인한다.
• 이론적 한계는 기대 기반 손잡이 결과에 대한 보상 함수의 리프시츠 연속성 가정 하에 도출된다.
• 반응형 밴드잇 피드백 하에서, 유도된 손잡이의 보상이 개별적으로 관측된다는 조건 하에서도 분석이 유효하다.
• 결과는 CTS가 동일한 조건 하에서 기존 방법보다 더 날카운 리그레트 한계를 달성함을 확인한다.