[논문 리뷰] Stochastic Bandits with Linear Constraints

Aldo Pacchiano, Mohammad Ghavamzadeh외 2명|arXiv (Cornell University)|2020. 06. 17.

Advanced Bandit Algorithms Research참고 문헌 24인용 수 7

한 줄 요약

이 논문은 선형 비용 제약 조건이 있는 스토하스틱 컨텍스추얼 선형 밴디트 문제를 위한 최적의 낙관적 비관적 선형 밴디트(OPLB) 알고리즘을 제안한다. 이 알고리즘은 탐색과 이용을 균형 있게 조절하면서도 기대 비용이 한도 이하로 유지되도록 보장한다. 이론적으로는 $\widetilde{\mathcal{O}}\left(\frac{d\sqrt{T}}{\tau - c_0}\right)$ 의 리그레트 한계를 확립하였으며, 여기서 $d$ 는 행동 차원, $T$ 는 시간 수평선, $\tau - c_0$ 는 제약 조건 한도와 알려진 타당 행동의 비용 간의 간격이다.

ABSTRACT

We study a constrained contextual linear bandit setting, where the goal of the agent is to produce a sequence of policies, whose expected cumulative reward over the course of $T$ rounds is maximum, and each has an expected cost below a certain threshold $τ$. We propose an upper-confidence bound algorithm for this problem, called optimistic pessimistic linear bandit (OPLB), and prove an $\widetilde{\mathcal{O}}(\frac{d\sqrt{T}}{τ-c_0})$ bound on its $T$-round regret, where the denominator is the difference between the constraint threshold and the cost of a known feasible action. We further specialize our results to multi-armed bandits and propose a computationally efficient algorithm for this setting. We prove a regret bound of $\widetilde{\mathcal{O}}(\frac{\sqrt{KT}}{τ- c_0})$ for this algorithm in $K$-armed bandits, which is a $\sqrt{K}$ improvement over the regret bound we obtain by simply casting multi-armed bandits as an instance of contextual linear bandits and using the regret bound of OPLB. We also prove a lower-bound for the problem studied in the paper and provide simulations to validate our theoretical results.

연구 동기 및 목표

• 각 라운드에서 선형 비용 제약 조건을 만족시키면서 누적 보상을 최대화하는 문제에 도전한다.
• 누적 비용이 아닌 각 라운드의 기대 비용에 제약 조건을 두는 설정을 제안함으로써, 이전의 누적 제약 모델에 비해 더 유연하고 보다 높은 보상 솔루션을 가능하게 한다.
• 보상 추정에 대해 낙관적 접근, 비용 추정에 대해 비관적 접근을 통해 제약 조건을 준수하면서도 탐색과 이용을 균형 있게 조절하는 효율적인 알고리즘을 설계한다.
• 일반적인 선형 밴디트와 특수화된 다중 암드 밴디트 케이스에 대해 리그레트에 대한 이론적 보장을 제공한다.
• 제안된 리그레트 한계의 최적성(optimality)을 검증하기 위해 문제에 특화된 하한값을 확립한다.

제안 방법

• 보상에 대해 상위 신뢰구간, 비용에 대해 하위 신뢰구간을 사용하여 탐색과 제약 조건 준수를 균형 잡는 최적의 낙관적 비관적 선형 밴디트(OPLB) 알고리즘을 제안한다.
• 보상 및 비용 파라미터에 대한 신뢰 타원체를 유지하고, 관측된 피드백 기반으로 이를 업데이트하여 정책 선택을 안내한다.
• 각 라운드에서, 비관적 조정된 기대 보상의 상위 신뢰구간을 최대화하면서도, 비관적 추정된 기대 비용에 대한 제약 조건을 만족하는 정책을 선택한다.
• 이중성과 볼록 최적화를 활용하여 각 단계에서 신뢰 집합 내 최적의 정책을 효율적으로 계산한다.
• 유한한 행동 공간을 활용하여 OPLB를 다중 암드 밴디트(MAB)에 특화시켜 계산 복잡도를 감소시킨다.
• 정보 이론적 도구와 KL 발산을 사용하여 리그레트에 대한 하한값을 유도하며, 상한값의 날카러움(tightness)을 입증한다.

실험 결과

연구 질문

• RQ1 각 라운드의 기대 비용 제약 조건이 있는 스토하스틱 컨텍스추얼 선형 밴디트 문제에서 달성 가능한 최적의 리그레트는 무엇인가?
• RQ2 제안된 OPLB 알고리즘은 어떻게 보상 탐색과 제약 준수를 균형 있게 조절하는가?
• RQ3 직접 선형 밴디트 결과를 적용하는 것에 비해, 다중 암드 밴디트 환경에서 리그레트 한계를 향상시킬 수 있는가?
• RQ4 이 제약 조건이 있는 밴디트 문제에 대한 본질적 한계(하한값)는 무엇인가?
• RQ5 비용 제약 처리 및 리그레트 성능 측면에서 기존의 컵소켓 또는 보수적 밴디트 방법에 비해 제안된 방법은 어떻게 비교되는가?

주요 결과

• OPLB 알고리즘은 컨텍스추얼 선형 밴디트 문제에서 $\widetilde{\mathcal{O}}\left(\frac{d\sqrt{T}}{\tau - c_0}\right)$ 의 리그레트 한계를 달성한다. 여기서 $d$ 는 행동 공간의 차원이고, $\tau - c_0$ 는 제약 조건 한도와 알려진 타당 행동의 비용 간의 간격이다.
• 다중 암드 밴디트 케이스에서는 특화된 OPB 알고리즘이 $\widetilde{\mathcal{O}}\left(\frac{\sqrt{KT}}{\tau - c_0}\right)$ 의 리그레트 한계를 달성하며, 이는 OPLB를 직접 적용하는 것에 비해 $\sqrt{K}$ 배 향상된다.
• 논문은 상한값과 로그 인자 외에는 일치하는 문제에 특화된 하한값을 확립하였으며, 이는 제안된 리그레트 한계의 최적성을 시사한다.
• 시뮬레이션 결과는 이론적 분석을 검증하며, OPLB가 보상 극대화와 제약 준수를 효과적으로 균형 잡는다는 것을 보여준다.
• 분석 결과, 제약 조건은 각 라운드의 비용 기대값에 적용되며, 이는 누적 비용에 대한 고확률 제약 모델보다 더 높은 기대 보상을 가능하게 한다.
• MAB 케이스에서 최적의 정책은 최대 $m+1$ 개의 암드에만 지지가 되며, 여기서 $m$ 은 제약 조건의 수이다. 이는 실질적으로 탐색 공간을 단순화한다.