[논문 리뷰] Thompson Sampling for Complex Bandit Problems

Aditya Gopalan, Shie Mannor외 1명|arXiv (Cornell University)|2013. 11. 03.

Advanced Bandit Algorithms Research참고 문헌 15인용 수 11

한 줄 요약

이 논문은 기본 암호를 포함하는 하위집합인 행동과 비선형 함수(예: 하위집합 내 최대 보상)로 구성된 복잡한 밴딧 문제에서 톰슨 샘플링의 일반적인 손실 경계를 제안한다. 문제를 사후 경로 기반 최적화로 간주함으로써 행동 간 결합성을 고려한 개선된 손실 스케일링을 달성하여, 특히 MAX 보상과 같은 비선형 피드백의 경우 분리 분석보다 더 날카운 경계를 얻는다.

ABSTRACT

We consider stochastic multi-armed bandit problems with complex actions over a set of basic arms, where the decision maker plays a complex action rather than a basic arm in each round. The reward of the complex action is some function of the basic arms' rewards, and the feedback observed may not necessarily be the reward per-arm. For instance, when the complex actions are subsets of the arms, we may only observe the maximum reward over the chosen subset. Thus, feedback across complex actions may be coupled due to the nature of the reward function. We prove a frequentist regret bound for Thompson sampling in a very general setting involving parameter, action and observation spaces and a likelihood function over them. The bound holds for discretely-supported priors over the parameter space and without additional structural properties such as closed-form posteriors, conjugate prior structure or independence across arms. The regret bound scales logarithmically with time but, more importantly, with an improved constant that non-trivially captures the coupling across complex actions due to the structure of the rewards. As applications, we derive improved regret bounds for classes of complex bandit problems involving selecting subsets of arms, including the first nontrivial regret bounds for nonlinear MAX reward feedback from subsets.

연구 동기 및 목표

• 결합된 행동과 집합 피드백을 갖는 복잡한 밴딧 문제에서 톰슨 샘플링의 일반적 손실 경계를 개발하는 것.
• 개별 암호 보상이 관측되지 않고 집합 보상(예: 최대값, 합계)만 관측되는 설정을 다루는 것.
• 공액 사전, 폐형 사후 또는 암호 간 독립성 등의 제한적인 가정을 제거하는 것.
• 보상 함수의 결합성으로 인해 발생하는 복잡한 행동 간의 구조적 의존성을 반영한 더 날카운 손실 경계를 유도하는 것.
• 하위집합 선택 밴딧 문제에서 비선형 MAX 피드백에 대해 처음으로 비트리비얼한 손실 경계를 제공하는 것.

제안 방법

• 파라미터, 행동, 관측 공간을 포함한 복잡한 밴딧 문제를 정형화하고, 이들 위에 likelihood 함수를 정의하는 것.
• 기본 암호 파라미터에 대해 이산적으로 지지된 가짜 사전을 사용하여 톰슨 샘플링를 적용하고, 각 관측 이후 사후를 갱신하는 것.
• 손실을 지수형 KL 발산을 통해 경로 기반 최적화 문제로 모델링하여 경계를 유도하는 것.
• MAX 피드백 케이스를 분석하기 위해 N차원 초입방체에 대한 정밀한 조합적 추정을 사용하는 것.
• 시간에 대해 로그 스케일링되지만, 행동의 구조적 결합성으로 인해 개선된 상수를 갖는 손실 경계를 도출하는 것.
• 복잡한 모델에서 실용적인 사후 근사에 대해 입자 필터링 및 순차적 몬테카를로 방법을 활용하는 것.

실험 결과

연구 질문

• RQ1 톰슨 샘플링는 비선형적이고 결합된 피드백을 갖는 복잡한 밴딧 문제에서 증명 가능하게 낮은 손실을 달성할 수 있는가?
• RQ2 복잡한 행동 간의 구조적 결합성이 톰슨 샘플링의 손실 스케일링에 어떤 영향을 미치는가?
• RQ3 공액이 아니며 이산적인 사전을 사용하여 톰슨 샘플링에서 손실 보장을 잃지 않고 효과적으로 사용할 수 있는가?
• RQ4 예를 들어 하위집합 내 최대 보상과 같은 비선형 피드백일 경우 손실 경계는 얼마나 향상되는가?
• RQ5 행동 공간의 조합적 구조를 활용함으로써 손실 경계를 더 개선할 수 있는가?

주요 결과

• 톰슨 샘플링의 일반적 손실 경계는 시간에 대해 O(log T)로 스케일링되며, 공액 사전이나 폐형 사후가 없더라도 행동 간 결합성을 반영한 개선된 상수를 포함한다.
• 하위집합 행동을 갖는 MAX 피드백 밴딧의 경우, 난이도 있는 분리된 경계 대비 손실 경계가 (N−M)/N 배만큼 감소한다.
• L개의 최적 모델과 KL 발산으로 구별 가능한 비최적 행동이 존재할 경우, 경계는 Ω(L/Δ log T)의 덧셈 감소를 달성한다.
• MAX 피드백 케이스에서는 손실이 O( (N−1 choose M) log T / μ²_min )로 스케일링되며, 난이도 있는 O( (N choose M) log T / μ²_min ) 경계보다 훨씬 우수하다.
• 이 개선은 이론적일 뿐만 아니라, 실증 결과에서도 실제로는 더 큰 감소가 발생할 가능성이 높다.
• 분석은 초입방체의 정점에 대한 정밀한 조합적 추정에 의존하며, 사후 집중을 위한 새로운 경로 기반 접근법을 제공한다.