[논문 리뷰] Contextual Bandits with Global Constraints and Objective.

Shipra Agrawal, Nikhil R. Devanur외 1명|arXiv (Cornell University)|2015. 06. 10.

Advanced Bandit Algorithms Research참고 문헌 22인용 수 9

한 줄 요약

이 논문은 전역 볼록 제약 조건과 오목 목표 함수를 가진 컨텍스트 밴디트 문제를 위한 계산적으로 효율적인 알고리즘을 제안한다. 이는 Badanidiyuru 등(2014)과 Agrawal 및 Devanur(2014)의 이전 연구를 일반화한 것으로, 근사 최적의 리그레트 한계를 달성하며, 예산 제약 조건이 있는 설정에서 최신 기술 수준의 성능을 유지하면서도 계산 가능성을 확보한다.

ABSTRACT

We consider the contextual version of a multi-armed bandit problem with global convex constraints and concave objective function. In each round, the outcome of pulling an arm is a context-dependent vector, and the global constraints require the average of these vectors to lie in a certain convex set. The objective is a concave function of this average vector. The learning agent competes with an arbitrary set of context-dependent policies. This problem is a common generalization of problems considered by Badanidiyuru et al. (2014) and Agrawal and Devanur (2014), with important applications. We give computationally efficient algorithms with near-optimal regret, generalizing the approach of Agarwal et al. (2014) for the non-constrained version of the problem. For the special case of budget constraints our regret bounds match those of Badanidiyuru et al. (2014), answering their main open question of obtaining a computationally efficient algorithm.

연구 동기 및 목표

• 전역 볼록 제약 조건을 갖는 컨텍스트 밴디트 문제를 다루기 위해, 암 풀이에서 얻는 벡터가 컨텍스트에 따라 달라지며 제약 조건을 충족시켜야 한다.
• 라운드 동안 암 풀이의 평균 벡터에 대해 오목 목표 함수를 최적화한다.
• 임의의 컨텍스트에 의존하는 정책과 경쟁할 수 있는 계산적으로 효율적인 학습 알고리즘을 설계한다.
• 비제약 조건 및 예산 제약 조건이 있는 밴디트 문제에 대한 이전 연구를 전역 볼록 제약 조건이 있는 통합 프레임워크로 일반화한다.
• 예산 제약 조건이 있는 컨텍스트 밴디트 문제에서 계산적으로 효율적인 리그레트 한계를 달성하는 것이 가능한지 해결한다.

제안 방법

• Agarwal 등(2014)의 비제약 조건 컨텍스트 밴디트 문제 접근 방식을 수정하여, 제약 조건 최적화를 통해 전역 볼록 제약 조건을 통합한다.
• 온라인 볼록 최적화 기법을 사용하여 컨텍스트에 의존하는 피드백에 대응해 정책을 유지하고 업데이트한다.
• 암 풀이의 평균 벡터에 대한 전역 볼록 제약 조건을 처리하기 위해 라그랑주 릴랙세이션 프레임워크를 적용한다.
• 제약 조건과 관련된 이중 변수를 효율적으로 추적하기 위해 이중 평균 기법을 도입한다.
• 탐색, 제약 조건 이행, 목표 함수 최대화 사이의 균형을 유지하는 계산적으로 효율적인 정책 선택 메커니즘을 설계한다.
• 오목 목표 함수의 농도 및 농도 성질을 활용하여, 농도 부등식을 적용해 리그레트 한계가 근사 최적이 되도록 보장한다.

실험 결과

연구 질문

• RQ1 전역 볼록 제약 조건과 오목 목표 함수를 가진 컨텍스트 밴디트 문제에 대해 계산적으로 효율적인 알고리즘을 설계할 수 있는가?
• RQ2 제안된 알고리즘이 예산 제약 조건 특수 케이스에서 이전 연구의 리그레트 한계를 달성하는가?
• RQ3 Badanidiyuru 등(2014)과 Agrawal 및 Devanur(2014)의 이전 결과를 비제약 조건 및 예산 제약 조건이 있는 밴디트 문제에서 통합된 설정으로 일반화할 수 있는가?
• RQ4 전역 제약 조건이 존재하는 상황에서 근사 최적 리그레트를 유지하면서도 계산 가능성을 확보할 수 있는가?
• RQ5 비트리비얼하고 컨텍스트에 의존하는 제약 조건이 존재할 경우, 제안된 알고리즘이 기존 방법과 비교해 어떻게 성능을 내는가?

주요 결과

• 제안된 알고리즘은 전역 볼록 제약 조건과 오목 목표 함수를 가진 컨텍스트 밴디트 설정에서 근사 최적 리그레트 한계를 달성한다.
• 예산 제약 조건 특수 케이스에서는 Badanidiyuru 등(2014)의 결과와 동일한 리그레트 한계를 달성하여, 그들이 제기한 계산 효율성에 관한 열린 질문을 해결한다.
• 알고리즘은 계산적으로 효율적이므로, 복잡한 제약 조건을 가진 실세계 응용 분야에 실용적으로 구현할 수 있다.
• 프레임워크는 비제약 조건 및 예산 제약 조건이 있는 컨텍스트 밴디트 문제에 대한 이전 연구를 하나의 통합된 접근 방식으로 일반화한다.
• 라그랑주 릴랙세이션과 이중 평균 기법을 사용함으로써, 리그레트 성능을 희생시키지 않고 효과적인 제약 조건 처리가 가능하다.
• 높은 차원의 컨텍스트와 복잡한 제약 조건 집합에 대해 강력한 이론적 보장을 유지하면서도 스케일링이 가능하다.