[논문 리뷰] Safe Linear Thompson Sampling.

Ahmadreza Moradipari, Sanae Amani외 2명|arXiv (Cornell University)|2019. 11. 06.

Advanced Bandit Algorithms Research인용 수 8

한 줄 요약

이 논문은 매 라운드마다 충족되어야 하는 선형 안전 제약 조건 하에서 스토하스틱 선형 밴디트에 대한 안전한 선형 톰슨 샘플링 알고리즘을 제안한다. 톰슨 샘플링의 내재된 탐색 특성을 활용하여, 빈도주의적 리그레트는 $\mathcal{O}(d^{3/2}\log^{1/2}d \cdot T^{1/2}\log^{3/2}T)$ 수준을 달성하며, 안전 제약 조건이 없는 표준 선형 TS와 동일한 최첨단 성능을 확보한다.

ABSTRACT

The design and performance analysis of bandit algorithms in the presence of stage-wise safety or reliability constraints has recently garnered significant interest. In this work, we consider the linear stochastic bandit problem under additional extit{linear safety constraints} that need to be satisfied at each round. We provide a new safe algorithm based on linear Thompson Sampling (TS) for this problem and show a frequentist regret of order $\mathcal{O} (d^{3/2}\log^{1/2}d \cdot T^{1/2}\log^{3/2}T)$, which remarkably matches the results provided by [Abeille et al., 2017] for the standard linear TS algorithm in the absence of safety constraints. We compare the performance of our algorithm with a UCB-based safe algorithm and highlight how the inherently randomized nature of TS leads to a superior performance in expanding the set of safe actions the algorithm has access to at each round.

연구 동기 및 목표

• 안전 제약 조건을 유지하면서도 리그레트 성능을 손상시키지 않는 선형 스토하스틱 밴디트 문제에 도전한다.
• 매 라운드마다 선형 안전 제약 조건을 준수하는 톰슨 샘플링 기반 알고리즘을 설계한다.
• 안전 제약 조건이 없는 표준 선형 TS와 비교해 유사한 리그레트 범위를 달성한다.
• 톰슨 샘플링의 무작위 탐색이 UCB 기반 안전 알고리즘의 결정론적 탐색보다 우월함을 입증한다.

제안 방법

• 알고리즘은 선형 안전 제약 조건을 사후 샘플링 과정에 통합함으로써 표준 선형 톰슨 샘플링을 확장한다.
• 매 라운드마다, 관측된 보상과 안전 제약 조건을 조건으로 삼아 파라미터에 대한 사후 분포에서 행동을 샘플링한다.
• 안전 제약 조건은 모든 후보 행동에 대해 충족되어야 하는 선형 부등식으로 모델링된다.
• 알고리즘은 파라미터 벡터에 대한 신뢰 타원체를 유지하여 유한한 불확실성 내에서 안전한 탐색을 보장한다.
• 제약 조건이 있는 샘플링에 맞춤형으로 조정된 농도 부등식과 마팅게일 아규먼트를 사용하여 리그레트 분석을 수행한다.
• 제약 조건 인식 사후 샘플링을 통해 모든 선택된 행동이 매 라운드마다 보장적으로 안전함을 보장한다.

실험 결과

연구 질문

• RQ1 톰슨 샘플링은 안전 제약 조건을 유지하면서도 리그레트 성능을 희생시키지 않고 선형 밴디트에 적응시킬 수 있는가?
• RQ2 동일한 제약 조건 하에서, 안전한 톰슨 샘플링 알고리즘의 리그레트는 안전한 UCB 기반 알고리즘과 비교해 어떻게 되는가?
• RQ3 톰슨 샘플링의 내재된 무작위성은 결정론적 UCB 기반 접근 방식보다 더 넓은 안전 행동 집합을 가능하게 하는가?
• RQ4 선형 안전 제약 조건 하에서 선형 밴디트 알고리즘의 최고로 날카로운 리그레트 상한은 무엇인가?

주요 결과

• 제안된 안전한 선형 톰슨 샘플링 알고리즘은 빈도주의적 리그레트 $\mathcal{O}(d^{3/2}\log^{1/2}d \cdot T^{1/2}\log^{3/2}T)$ 를 달성하며, 안전 제약 조건이 없는 표준 선형 TS와 동일한 성능을 보인다.
• 리그레트 상한은 행동 수에 의존하지 않고 오직 차원 $d$ 와 수렴 시간 $T$ 에만 의존한다.
• 톰슨 샘플링의 무작위 샘플링이 제공하는 더 넓은 탐색 범위 덕분에, UCB 기반 안전 알고리즘보다 성능이 뛰어나다.
• 알고리즘의 접근 가능한 안전 행동 집합은 UCB 기반 대안보다 시간이 지남에 따라 더 빠르게 확장된다.
• 사후 샘플링 과정에서 제약 조건 이행 가능성에 기반하여 매 라운드마다 안전 제약 조건이 엄격히 준수된다.