[논문 리뷰] Stage-wise Conservative Linear Bandits

Ahmadreza Moradipari, Christos Thrampoulidis외 1명|arXiv (Cornell University)|2020. 09. 30.

Advanced Bandit Algorithms Research참고 문헌 29인용 수 6

한 줄 요약

이 논문은 각 행동의 기대 보상이 기준 정책의 보상의 일정 비율 이상이어야 하는 안전성 제약 조건을 갖는 선형 밴디트 문제를 위한 두 가지 새로운 알고리즘, 단계별 보수적 선형 톰슨 샘플링(SCLTS)과 단계별 보수적 선형 UCB(SCLUCB)을 제안한다. 이들 방법은 각각 $\mathcal{O}(\sqrt{T}\log^{3/2}T)$ 및 $\mathcal{O}(\sqrt{T}\log T)$의 리그레트 한계를 달성하며, 기준 행동 사용 횟수를 $\mathcal{O}(\log T)$로 크게 감소시켜 이전 연구 대비 향상된다.

ABSTRACT

We study stage-wise conservative linear stochastic bandits: an instance of bandit optimization, which accounts for (unknown) safety constraints that appear in applications such as online advertising and medical trials. At each stage, the learner must choose actions that not only maximize cumulative reward across the entire time horizon but further satisfy a linear baseline constraint that takes the form of a lower bound on the instantaneous reward. For this problem, we present two novel algorithms, stage-wise conservative linear Thompson Sampling (SCLTS) and stage-wise conservative linear UCB (SCLUCB), that respect the baseline constraints and enjoy probabilistic regret bounds of order O(\sqrt{T} \log^{3/2}T) and O(\sqrt{T} \log T), respectively. Notably, the proposed algorithms can be adjusted with only minor modifications to tackle different problem variations, such as constraints with bandit-feedback, or an unknown sequence of baseline actions. We discuss these and other improvements over the state-of-the-art. For instance, compared to existing solutions, we show that SCLTS plays the (non-optimal) baseline action at most O(\log{T}) times (compared to O(\sqrt{T})). Finally, we make connections to another studied form of safety constraints that takes the form of an upper bound on the instantaneous reward. While this incurs additional complexity to the learning process as the optimal action is not guaranteed to belong to the safe set at each round, we show that SCLUCB can properly adjust in this setting via a simple modification.

연구 동기 및 목표

• 행동가가 기준 정책보다 성능이 떨어지면 안 되는 안전성 중심의 응용 분야, 예를 들어 임상 시험과 온라인 광고에서 문제를 해결하기 위해.
• 누적 보상을 최대화하면서 매 라운드마다 선형 기준 제약 조건을 준수하는 알고리즘을 개발하기 위해.
• 학습자가 비최적의 기준 행동을 선택하는 횟수를 줄여 이전 연구 대비 향상시키기 위해.
• 기본값 보상이 알려지지 않은 경우나 제약 조건에 대한 밴디트 피드백이 존재하는 변형된 환경로로의 적용 가능성을 확장하기 위해.

제안 방법

• 선형 밴디트 문제에 대해 톰슨 샘플링과 UCB 프레임워크에 보수적 제약 조건을 통합한 SCLTS와 SCLUCB를 제안한다.
• 매 라운드 $t$ 에서 $\langle x_t, \theta_\star \rangle \geq (1 - \alpha) \langle x_{b_t}, \theta_\star \rangle$ 를 요구하는 단계별 제약 조건을 사용한다.
• 신뢰 구간과 사후 샘플링을 활용하여 탐색과 제약 조건 이행 간의 균형을 확보한다.
• 기준 행동이 선택되는 횟수를 제한하기 위해 새로운 분석 프레임워크를 도입하여 $\mathcal{O}(\log T)$ 사용을 달성한다.
• 소량의 수정만으로 기준 보상이 알려지지 않은 경우와 제약 조건에 대한 밴디트 피드백 환경에 적응할 수 있도록 알고리즘을 변형한다.
• 행렬 농도 부등식(예: 행렬 아즈마)을 적용하여 공분산 행렬의 최소 고유값에 대한 고확률 한계를 유도한다.

실험 결과

연구 질문

• RQ1 우리는 단계별 보수적 제약 조건을 준수하면서 낮은 리그레트를 유지할 수 있는 선형 밴디트 알고리즘을 설계할 수 있는가?
• RQ2 기존 연구 대비 학습자가 비최적의 기준 행동을 선택하는 횟수를 어떻게 줄일 수 있는가?
• RQ3 제안된 알고리즘은 기본값 보상이 알려지지 않거나 제약 조건에 대한 밴디트 피드백이 존재하는 환경에 어떻게 적응할 수 있는가?
• RQ4 이러한 제약 조건 하에서 보수적 선형 밴디트 알고리즘의 이론적 리그레트 한계는 무엇인가?
• RQ5 SCLTS와 SCLUCB는 SEGE와 같은 기존 방법과 리그레트 및 기준 행동 사용 측면에서 어떻게 비교되는가?

주요 결과

• SCLTS는 $\mathcal{O}(\sqrt{T}\log^{3/2}T)$의 리그레트 한계를 달성하며, 이는 이전의 $\mathcal{O}(\sqrt{T}\log T)$ 한계 대비 로그 항의 의존도에서 향상된 결과이다.
• SCLUCB는 $\mathcal{O}(\sqrt{T}\log T)$의 리그레트 한계를 달성하며, 제약 조건이 없는 경우에 달성 가능한 최고의 알려진 한계와 일치한다.
• 기준 행동이 선택되는 횟수는 $\mathcal{O}(\log T)$로 감소하였으며, 이는 이전 연구에서의 $\mathcal{O}(\sqrt{T})$ 한계에 비해 상당한 개선이다.
• 알고리즘은 소량의 수정만으로 기준 보상이 알려지지 않은 경우와 제약 조건에 대한 밴디트 피드백 환경에 적응할 수 있다.
• SCLUCB는 단순한 수정을 통해 순순간 보상에 대한 상한값으로 정의된 안전성 제약 조건으로 일반화될 수 있다.
• 실험 결과는 SCLUCB2의 누적 리그레트가 Amani 등(2019)의 문제 의존적 상한값과 일치함을 확인한다.