[논문 리뷰] An efficient algorithm for contextual bandits with knapsacks, and an extension to concave objectives

Shipra Agrawal, Nikhil R. Devanur외 1명|arXiv (Cornell University)|2015. 06. 10.

Advanced Bandit Algorithms Research참고 문헌 26인용 수 25

한 줄 요약

이 논문은 전역 자원 제약 조건을 처리할 수 있도록 Agarwal 등(2014)의 접근을 확장한 계산적으로 효율적인 알고리즘을 제안한다. 정책 공간 크기의 로그 제곱근 비례로 실행 시간이 증가하며, 이는 Badanidiyuru 등(2014)에서 제기한 열린 문제를 해결한다. 또한 자원 소비 벡터에 대한 볼록 목적 함수로 일반화된다.

ABSTRACT

We consider a contextual version of multi-armed bandit problem with global knapsack constraints. In each round, the outcome of pulling an arm is a scalar reward and a resource consumption vector, both dependent on the context, and the global knapsack constraints require the total consumption for each resource to be below some pre-fixed budget. The learning agent competes with an arbitrary set of context-dependent policies. This problem was introduced by Badanidiyuru et al. (2014), who gave a computationally inefficient algorithm with near-optimal regret bounds for it. We give a computationally efficient algorithm for this problem with slightly better regret bounds, by generalizing the approach of Agarwal et al. (2014) for the non-constrained version of the problem. The computational time of our algorithm scales logarithmically in the size of the policy space. This answers the main open question of Badanidiyuru et al. (2014). We also extend our results to a variant where there are no knapsack constraints but the objective is an arbitrary Lipschitz concave function of the sum of outcome vectors.

연구 동기 및 목표

• Contextual bandits with knapsacks(CBwK)에 대한 기존 알고리즘의 계산 비효율성을 해결하되, 이는 이론적으로 최적이지만 오рак불 호출 복잡도가 높아 실용적이지 않다.
• Badanidiyuru 등(2014)이 제기한, CBwK에서 계산 효율성을 확보하면서도 근사적으로 최적의 손실을 유지하는 문제를 해결한다.
• 정책 공간의 자원 소비 벡터 합에 대한 임의의 볼록 목적 함수를 다룰 수 있도록 프레임워크를 일반화한다. 선형 목표 함수를 초월한다.
• 정책 공간이 클 경우에도 효율성을 유지하기 위해 정책을 명시적으로 나열하지 않고, arg-max 오라클에 의존한다.
• 부드러움과 유계성에 대한 현실적인 가정 하에, 정책 수와 시간 영역에 따라 유리하게 스케일링되는 이론적 손실 한계를 제공한다.

제안 방법

• Agarwal 등(2014)의 스무딩 투영 및 신뢰구간 갱신 메커니즘을 d차원 자원 소비를 고려한 제약 조건이 있는 CBwK 설정에 적응한다.
• 증가하는 신뢰구간을 가진 에포크의 시퀀스를 사용하며, 탐색과 이용의 균형을 이루기 위해 정책에 대한 스무딩 분포를 통해 행동을 선택한다.
• 각 에포크에서 정책 분포를 맥락에 의존하는 정책들의 볼록 조합과 균일 기반선의 조합으로 표현함으로써, arg-max 오라클을 통해 효율적인 계산을 가능하게 한다.
• Azuma-Hoeffding 부등식을 적용하여 시간 단계 간의 경험적 평균 자원 소비 및 보상 벡터와 기대값 간의 이탈을 제한한다.
• 볼록 목적 함수의 리프시츠 연속성과 부드러움을 활용하여, 목적 함수 값의 손실과 평균 자원 소비 및 보상 벡터의 이탈 간의 관계를 유도한다.
• 에포크 기반 알고리즘의 구조와 농도 불등식을 조합하여 손실 한계를 유도함으로써, 정책 공간 크기의 로그에 비례하는 의존성을 확보한다.

실험 결과

연구 질문

• RQ1 계산적으로 효율적이면서도 근사적으로 최적의 손실 한계를 유지하는, Contextual Bandits with Knapsacks(CBwK)를 위한 알고리즘을 설계할 수 있는가?
• RQ2 정책 공간이 클 경우, 모든 정책을 명시적으로 나열하지 않고도 손실 스케일링을 어떻게 향상시킬 수 있는가?
• RQ3 프레임워크를 선형 목표 함수를 초월하여 총 자원 소비의 임의의 볼록 함수를 다룰 수 있도록 확장할 수 있는가?
• RQ4 자원 제약 조건이 임의의 정책 집합을 가진 Contextual Bandit 설정에서 수렴 속도와 손실에 어떤 영향을 미치는가?
• RQ5 전체 정책 나열 대신 arg-max 오라클을 사용할 경우, 계산 효율성과 이론적 보장에 어떤 영향을 미치는가?

주요 결과

• 제안된 알고리즘은 평균 손실 한계 $ O\big(\nolimits\big\| \mathbf{1}_d \big\| L \left(\sqrt{\frac{K}{T}\ln\frac{T|\Pi|}{\delta}} + \sqrt{\frac{1}{T}\ln\frac{d}{\delta}}\right)\big) $ 를 달성하며, 이는 로그 요소를 제외하고 최적이며 최적이다.
• 계산 비용은 $ \sqrt{\log |\Pi|} $ 비례하며, 이는 $ |\Pi| $ 가 정책 공간 크기이므로 큰 정책 집합에 대해서도 효율적이다.
• 알고리즘은 계산적으로 실용적이면서도 근사적으로 최적의 손실을 유지하며, Badanidiyuru 등(2014)의 열린 문제를 해결한다.
• 손실 한계는 $ T \geq K\ln(T|\Pi|/\delta) $ 라는 가정 하에 성립하며, 이는 주요 항목들이 의미 있는 값을 가짐을 보장한다.
• 볼록 목표 함수로의 확장은 목적 함수의 부드러움과 볼록성에 기반하여 기대 성능의 이탈을 제한함으로써 달성된다.
• 분석 결과 경험적 결과와 기대값 간의 이탈이 농도 불등식을 통해 엄격하게 제어됨을 보여주며, 강력한 고확률 손실 보장을 가능하게 한다.