[논문 리뷰] Linear Contextual Bandits with Global Constraints and Objective

Shipra Agrawal, Nikhil R. Devanur|arXiv (Cornell University)|2015. 07. 24.

Advanced Bandit Algorithms Research참고 문헌 36인용 수 8

한 줄 요약

이 논문은 전역 볼록 제약 조건과 오목 목표 함수를 갖는 선형 연속적 밴디트 문제를 위한 새로운 프레임워크를 제안한다. 이는 고전적 밴디트 문제를 일반화하며, 온라인 볼록 최적화와 이중 기반 학습을 활용하여 near-optimal 성능 보장을 갖는 알고리즘을 제안한다. 이는 임의의 컨텍스트-결과 매핑을 가정하는 비정형 접근 방식보다 성능이 뛰어나다.

ABSTRACT

We consider the linear contextual bandit problem with global convex constraints and a concave objective function. In each round, the outcome of pulling an arm is a vector, that depends linearly on the context of that arm. The global constraints require the average of these vectors to lie in a certain convex set. The objective is a concave function of this average vector. This problem turns out to be a common generalization of classic linear contextual bandits (linContextual) [Auer 2003], bandits with concave rewards and convex knapsacks (BwCR) [Agrawal, Devanur 2014], and the online stochastic convex programming (OSCP) problem [Agrawal, Devanur 2015]. We present algorithms with near-optimal regret bounds for this problem. Our bounds compare favorably to results on the unstructured version of the problem [Agrawal et al. 2015, Badanidiyuru et al. 2014] where the relation between the contexts and the outcomes could be arbitrary, but the algorithm only competes against a fixed set of policies.

연구 동기 및 목표

• 암호화된 밴디트 문제에서 암호화된 결과가 컨텍스트에 대해 선형인 경우에 전역 볼록 제약 조건을 고려한 문제를 해결한다.
• 이러한 제약 조건 하에서 라운드 간 평균 결과 벡터에 대한 오목 목표 함수를 최적화한다.
• 기존의 모델들인 linContextual, BwCR, OSCP를 통합하는 유일한 프레임워크로 일반화한다.
• 이 제약 조건이 존재하는 오목 최적화 환경에서 증명 가능하게 near-optimal 리그레트를 갖는 알고리즘을 개발한다.
• 임의의 컨텍스트-결과 관계를 가정하는 비정형 밴디트 접근 방식보다 성능을 뛰어나게 한다.

제안 방법

• 선형 결과와 평균 결과에 대한 볼록 제약 조건이 있는 온라인 스토케스틱 볼록 프로그래밍 문제로 문제를 수립한다.
• 전역 볼록 제약 조건을 시간에 걸쳐 유지하기 위해 이중 변수를 유지하는 이중 기반 학습을 사용한다.
• 탐색과 이용의 균형을 유지하면서 제약 조건을 준수하는 온라인 볼록 최적화 기법을 적용한다.
• 오목 목표 함수와 제약 조건 집합의 기하학적 구조를 고려한 리그레트 분석을 통합한다.
• 선형 결과의 구조를 활용하여 비정형 방법보다 더 날카운 리그레트 경계를 유도한다.
• 컨텍스트, 이중 변수, 목표 함수의 기울기 기반으로 암호화된 선택을 동적으로 조정하는 정책 업데이트 규칙을 설계한다.

실험 결과

연구 질문

• RQ1 어떻게 하면 선형 연속적 밴디트 문제에 전역 볼록 제약 조건을 평균 결과에 적용할 수 있는가?
• RQ2 오목 보상 최대화와 볼록 제약 조건 이행 사이의 최적의 트레이드오프는 무엇인가?
• RQ3 컨텍스트-결과 매핑이 선형인 경우에도 이 제약 조건이 존재하는 환경에서 near-optimal 리그레트를 달성할 수 있는가?
• RQ4 제안된 방법은 임의의 컨텍스트-결과 의존성을 가진 비정형 밴디트 알고리즘과 비교해 어떻게 성능을 냅니다?
• RQ5 이 일반화된 프레임워크에서 리그레트와 제약 조건 이행에 대해 어떤 이론적 보장을 제공할 수 있는가?

주요 결과

• 제안된 알고리즘은 전역 볼록 제약 조건과 오목 목표 함수를 갖는 선형 연속적 밴디트 문제에서 near-optimal 리그레트 경계를 달성한다.
• 비정형 밴디트 방법이 임의의 컨텍스트-결과 매핑을 가정하는 것과 비교해 더 날카운 리그레트 경계를 제공한다.
• 이 프레임워크는 linContextual, BwCR, OSCP와 같은 기존 모델들을 성공적으로 일반화하고 통합한다.
• 이중성과 온라인 볼록 최적화의 활용은 효과적인 제약 조건 처리를 가능하게 하며 강력한 리그레트 성능도 유지한다.
• 제약 조건과 목표 함수에 따라 최적 정책으로의 수렴이 증명 가능하다.
• 리그레트와 제약 조건 이행 측면에서 기존 비정형 알고리즘보다 성능이 뛰어나다.