[논문 리뷰] Linear Contextual Bandits with Knapsacks

Shipra Agrawal, Nikhil R. Devanur|arXiv (Cornell University)|2015. 07. 24.

Advanced Bandit Algorithms Research인용 수 35

한 줄 요약

이 논문은 보상과 자원 소비가 문맥 특성에 선형적으로 의존하는 케이스에 대해, 주머니 제약 조건을 갖는 선형 문맥적 밴디트 프레임워크를 제안한다. 보상과 자원 소비가 문맥 특성에 선형적으로 의존하는 점을 고려하여, near-optimal regret bound가 $\tilde{O}\left(\left(\frac{\text{OPT}}{B}+1\right)m\sqrt{T}\right)$로 스케일링되는 알고리즘을 제안하며, 이는 신뢰 타원체와 예산 제약 하에서의 적응형 정책 추정을 기반으로 한다.

ABSTRACT

We consider the linear contextual bandit problem with resource consumption, in addition to reward generation. In each round, the outcome of pulling an arm is a reward as well as a vector of resource consumptions. The expected values of these outcomes depend linearly on the context of that arm. The budget/capacity constraints require that the total consumption doesn't exceed the budget for each resource. The objective is once again to maximize the total reward. This problem turns out to be a common generalization of classic linear contextual bandits (linContextual), bandits with knapsacks (BwK), and the online stochastic packing problem (OSPP). We present algorithms with near-optimal regret bounds for this problem. Our bounds compare favorably to results on the unstructured version of the problem where the relation between the contexts and the outcomes could be arbitrary, but the algorithm only competes against a fixed set of policies accessible through an optimization oracle. We combine techniques from the work on linContextual, BwK, and OSPP in a nontrivial manner while also tackling new difficulties that are not present in any of these special cases.

연구 동기 및 목표

• 다중 자원 제약 조건 하에서 선형 문맥적 밴디트 설정에서의 온라인 의사결정 문제에 대응하기 위해.
• 보상과 소비의 선형 의존성을 문맥 벡터에 통합함으로써 고전적 선형 문맥적 밴디트와 주머니 제약 조건이 있는 밴디트를 일반화하기 위해.
• NP-hard 최적화 문제에 대한 오라클 액세스가 필요 없이 near-optimal regret을 달성하는 알고리즘을 개발하기 위해.
• 예산 제약 조건 하에서도 성능 보장을 확보하면서 고차원의 암(arm) 공간에서도 확장 가능성을 유지하기 위해.
• 암의 수 $K$에 독립적인 regret bound를 제공함으로써, 온라인 광고 및 추천 시스템과 같은 대규모 응용 분야에 적합하게 하기 위해.

제안 방법

• 기대 보상 및 소비 벡터를 문맥 벡터의 선형 함수로 모델링하며, 알려지지 않은 매개변수 $\mu_*$와 $W_*$를 사용한다.
• 추정된 매개변수 $\hat{\mu}_t$와 $\hat{W}_t$ 주변의 신뢰 타원체를 유지하여 추정치의 불확실성을 정량화한다.
• 가장 높은 불확실성 방향에서의 탐색을 우선시하기 위해 $\|X_t p_t\|_{M_t^{-1}}$를 최대화하는 정책 선택 규칙을 사용한다.
• 추정 오차를 제한하고 안정성을 확보하기 위해 최적 정책 값 $\hat{\text{OPT}}^{2\gamma}$의 임계값 설정 추정을 도입한다.
• 초기 탐색 단계 $T_0$ 라운드와 불확실성 감소 하에서의 정책 최적화 단계로 구성된 이중 단계 접근법을 적용한다.
• 모수 추정 오차와 정책 이탈에 대한 농도 부등식과 코시-슈바르츠 유형의 bound를 조합하여 regret bound를 유도한다.

실험 결과

연구 질문

• RQ1 NP-hard 최적화 문제에 대한 오라클 액세스 없이도, 다중 자원 제약 조건이 있는 선형 문맥적 밴디트에서 near-optimal regret를 달성할 수 있는가?
• RQ2 보상과 소비의 선형 구조를 어떻게 활용하여 암의 수 $K$에 대한 regret 의존도를 줄일 수 있는가?
• RQ3 스토케스틱 선형 밴디트 설정에서 예산 제약 조건 하에서 탐색과 이용의 최적의 균형은 무엇인가?
• RQ4 신뢰 타원체는 누적 소비가 예산 내에 유지되도록 하면서 어떻게 탐색을 이끌 수 있는가?
• RQ5 이 문제 유형에 대해 가장 날카로운 regret bound는 무엇이며, 이는 $T$, $B$, $m$에 어떻게 스케일링되는가?

주요 결과

• 예산 $B > mT^{3/4}$ 이고 $T_0 = \sqrt{T}$ 일 때, 제안된 알고리즘은 고확률 regret bound $\tilde{O}\left(\left(\frac{\text{OPT}}{B}+1\right)m\sqrt{T}\right)$ 를 달성한다.
• regret bound는 암의 수 $K$에 독립적이므로, 온라인 광고 및 추천 시스템과 같은 대규모 응용 분야에 적합하다.
• 고확률적으로 $B \geq \gamma$ 일 때, 추정된 최적 정책 값 $\hat{\text{OPT}}^{2\gamma}$ 는 진짜 $\text{OPT}$ 의 상수 배수 범위 내에 있다.
• 신뢰 타원체를 사용하고 불확실성 인식 탐색을 최대화함으로써, $\mu_*$ 와 $W_*$ 의 추정 오차를 효과적으로 감소시킨다.
• 분석 결과, 추정된 정책 값과 진짜 정책 값 간의 누적 이탈은 $O\left(m\sqrt{T_0 \ln(T_0) \ln(T_0 d / \delta)}\right)$ 로 제한되며, 이는 regret 제어에 핵심적이다.
• 이전의 비정형 접근법과 달리, 이 방법은 NP-hard 문제에 대한 최적화 오라클에 의존하지 않아 실세계 환경에서의 실용적 구현을 가능하게 한다.