[논문 리뷰] Algorithms with logarithmic or sublinear regret for constrained contextual bandits

Huasen Wu, R. Srikant외 2명|arXiv (Cornell University)|2015. 12. 07.

Advanced Bandit Algorithms Research참고 문헌 25인용 수 23

한 줄 요약

이 논문은 시간 및 예산 제약 조건이 있는 제약 조건이 있는 컨텍스트 밴디트 문제를 위한 새로운 알고리즘인 UCB-ALP를 제안한다. 이 알고리즘은 적응형 선형 프로그래밍과 상한 신뢰구간 탐색을 조합하여, 알려진 및 알려지지 않은 컨텍스트 분포 설정에서 로그 수준의 리그레트를 달성한다. 이는 이 문제 유형에서 처음으로 이루어지는 결과이다.

ABSTRACT

We study contextual bandits with budget and time constraints, referred to as constrained contextual bandits. The time and budget constraints significantly complicate the exploration and exploitation tradeoff because they introduce complex coupling among contexts over time. To gain insight, we first study unit-cost systems with known context distribution. When the expected rewards are known, we develop an approximation of the oracle, referred to Adaptive-Linear-Programming (ALP), which achieves near-optimality and only requires the ordering of expected rewards. With these highly desirable features, we then combine ALP with the upper-confidence-bound (UCB) method in the general case where the expected rewards are unknown a priori. We show that the proposed UCB-ALP algorithm achieves logarithmic regret except for certain boundary cases. Further, we design algorithms and obtain similar regret bounds for more general systems with unknown context distribution and heterogeneous costs. To the best of our knowledge, this is the first work that shows how to achieve logarithmic regret in constrained contextual bandits. Moreover, this work also sheds light on the study of computationally efficient algorithms for general constrained contextual bandits.

연구 동기 및 목표

• 시간 및 예산 제약 조건으로 인해 시간적 결합이 복잡해지는 탐색-이용 균형 문제를 해결한다.
• 기대 보상이 알려진 경우에 near-optimal 성능을 달성하는 효율적인 알고리즘을 개발한다. 이는 단지 적응형 선형 프로그래밍(ADAPTIVE-LINEAR-PROGRAMMING, ALP)을 통한 보상 순서만을 사용한다.
• 알려지지 않은 보상 설정으로의 ALP 접근법을 확장하기 위해 UCB 방법과 통합함으로써 일반적인 경우에서 로그 수준의 리그레트를 보장한다.
• 알려지지 않은 컨텍스트 분포와 이질적인 비용을 가진 시스템으로 프레임워크를 일반화하여 강력한 리그레트 경계를 유지한다.
• 제약 조건이 있는 컨텍스트 밴디트 문제에서 로그 수준의 리그레트를 보장하는 최초의 이론적 보장을 제공한다. 이는 계산적으로 효율적인 알고리즘 설계를 발전시킨다.

제안 방법

• 기대 보상의 순서만을 사용하여 near-optimal 성능를 달성하는 오라클 정책의 근사치로 적응형 선형 프로그래밍(ADAPTIVE-LINEAR-PROGRAMMING, ALP)을 도입한다.
• 알려지지 않은 기대 보상 설정을 처리하기 위해 ALP를 UCB 방법과 통합함으로써 탐색을 가능하게 하면서도 리그레트 보장을 유지한다.
• 시간 및 예산 제약 조건 하에서 탐색과 이용의 동적 균형을 유지하는 UCB-ALP 알고리즘을 설계한다.
• 다양한 컨텍스트 비용을 고려하기 위해 ALP 수식을 수정함으로써 이질적 비용 시스템으로 프레임워크를 확장한다.
• 신뢰구간을 사용하여 행동 선택을 이끌어내어, 비최적 행동이 로그 수준으로만 탐색되도록 보장한다.
• 컨텍스트 시퀀스와 제약 위반 간의 결합을 분석함으로써 리그레트 경계를 증명한다.

실험 결과

연구 질문

• RQ1 시간 및 예산 제약 조건이 있는 컨텍스트 밴디트 문제에서 복잡한 시간적 결합이 존재함에도 불구하고 로그 수준의 리그레트를 달성할 수 있는가?
• RQ2 기대 보상이 알려지지 않은 경우에도 강력한 리그레트 성능를 유지하면서 효율적인 알고리즘을 설계할 수 있는가?
• RQ3 ALP 근사치가 이질적 비용과 알려지지 않은 컨텍스트 분포를 가진 시스템으로 얼마나 널리 확장될 수 있는가?
• RQ4 제약 조건의 결합이 컨텍스트 밴디트 문제에서 탐색-이용 균형에 어떤 영향을 미치는가?
• RQ5 일반적인 제약 조건이 있는 컨텍스트 밴디트 문제에서 로그 수준의 리그레트를 달성하는 계산적으로 효율적인 알고리즘을 개발할 수 있는가?

주요 결과

• UCB-ALP 알고리즘은 알려진 컨텍스트 분포와 알려진 기대 보상 조건 하에서 제약 조건이 있는 컨텍스트 밴디트 문제에서 로그 수준의 리그레트를 달성한다.
• ALP 방법은 기대 보상의 순서만을 사용하여 near-optimal 성능를 달성하며, 이는 계산 복잡도를 크게 감소시킨다.
• 제안된 프레임워크는 알려지지 않은 컨텍스트 분포와 이질적 비용을 가진 시스템으로 일반화되며, 여전히 로그 수준의 리그레트 경계를 유지한다.
• 이 작업은 제약 조건이 있는 컨텍스트 밴디트 설정에서 로그 수준의 리그레트를 보장하는 최초의 이론적 보장을 수립한다.
• 결과는 복잡한 결합 제약 조건 하에서도 계산적으로 효율적인 알고리즘과 강력한 리그레트 성능를 동시에 달성할 수 있음을 보여준다.
• 로그 수준의 리그레트가 성립하지 않는 경계 케이스가 존재하지만, 이러한 경우는 명시적으로 특성화되어 주요 리그레트 분석에서 제외된다.