[논문 리뷰] Conservative Contextual Linear Bandits

Abbas Kazerouni, Mohammad Ghavamzadeh외 2명|arXiv (Cornell University)|2016. 11. 19.

Advanced Bandit Algorithms Research인용 수 45

한 줄 요약

이 논문은 모든 시점에서 기준 정책의 고정된 비율 이상의 성능을 보장하는 안전한 컨텍스트 선형 밴디트 알고리즘인 보존적 선형 UCB (CLUCB)를 제안한다. 표준 선형 UCB를 수정하여 옵timistic 행동을 선택할 때 안전성 제약 조건을 만족하는 경우에만 허용함으로써, CLUCB는 고확률 안전성을 확보하면서도 표준 선형 UCB의 성능과 동일한 성능을 기록하며 시간에 따라 변하지 않는 상수항을 추가로 포함한 성능 오차를 보인다.

ABSTRACT

Safety is a desirable property that can immensely increase the applicability of learning algorithms in real-world decision-making problems. It is much easier for a company to deploy an algorithm that is safe, i.e., guaranteed to perform at least as well as a baseline. In this paper, we study the issue of safety in contextual linear bandits that have application in many different fields including personalized ad recommendation in online marketing. We formulate a notion of safety for this class of algorithms. We develop a safe contextual linear bandit algorithm, called conservative linear UCB (CLUCB), that simultaneously minimizes its regret and satisfies the safety constraint, i.e., maintains its performance above a fixed percentage of the performance of a baseline strategy, uniformly over time. We prove an upper-bound on the regret of CLUCB and show that it can be decomposed into two terms: 1) an upper-bound for the regret of the standard linear UCB algorithm that grows with the time horizon and 2) a constant (does not grow with the time horizon) term that accounts for the loss of being conservative in order to satisfy the safety constraint. We empirically show that our algorithm is safe and validate our theoretical analysis.

연구 동기 및 목표

• 안전한 초기 성능가능성이 없는 학습 알고리즘의 실세계 적용에 도전하는 것.
• 컨텍스트 선형 밴디트에서 안전성을 기준 정책에 대한 누적 보상의 균일한 고확률 제약 조건으로 수식화하는 것.
• 학습 과정 全 과정에서 안전성 제약 조건을 엄격히 충족시키면서도 성능 오차를 최소화하는 학습 알고리즘을 설계하는 것.
• 성능 오차와 안전성에 대한 이론적 보장을 제공하여, 보수성의 영향이 시간 영역에 독립적인 상수 성능 오차로만 발생함을 보여주는 것.

제안 방법

• 모든 시점에서 학습 정책의 기대 누적 보상이 기준 정책의 α 배 이상이 되도록 보장하는 제약 조건으로서의 안전성 수식화.
• 기준 정책의 보상 함수가 알려져 있는 경우와 알려져 있지 않은 경우에 대해 각각 다른 버전의 CLUCB를 제안함.
• 각 라운드에서 표준 LUCB가 추천하는 행동을 선택할 수 있는지 확인하고, 안전성 기준을 충족하지 못하면 기준 정책으로 대체함.
• 기준 정책의 보상 함수가 알려져 있을 경우와 알려져 있지 않을 경우에 대해 각각 다른 버전의 CLUCB를 제안함.
• 기본적으로 알려지지 않은 매개변수 벡터에 대한 신뢰 집합을 사용하여 최악의 경우 성능를 계산하고, 안전성에 대한 강건한 보장을 확보함.
• 성능 오차 상한을 두 부분으로 분해하여 증명함: 표준 LUCB의 성능 오차(√T log T 비례)와 보수성으로 인한 상수항 추가.

실험 결과

연구 질문

• RQ1 컨텍스트 선형 밴디트에서 안전성이 어떻게 공식화되고 강제될 수 있으며, 이는 기준 정책의 고정된 비율 이하 성능이 되지 않도록 보장하는가?
• RQ2 학습 알고리즘이 컨텍스트 선형 밴디트 환경에서 시간에 따라 균일하게 안전성을 보장하면서도 높은 성능 오차 성능을 유지할 수 있는가?
• RQ3 이러한 환경에서 보수성(안전성)과 성능 오차 사이의 트레이드오프는 무엇이며, 이는 시간 영역에 독립적인가?
• RQ4 실제로 표준 선형 UCB와 비교했을 때 제안된 CLUCB 알고리즘은 안전성과 성능 오차 측면에서 어떻게 다를까?
• RQ5 CLUCB의 보수적 행동은 시간에 따라 변하지 않는 성능 오차를 초래하는가? 이는 이론적으로 증명될 수 있는가?

주요 결과

• CLUCB는 모든 시점에서 고확률로 안전성 제약 조건을 충족하여 누적 보상이 기준 정책의 기대 보상의 α 배 이하로 떨어지지 않도록 보장한다.
• CLUCB의 성능 오차는 표준 선형 UCB의 성능 오차에 시간에 따라 변하지 않는 상수항을 더한 것으로 유계된다.
• 초기 보수적 단계(즉, CLUCB가 기준 정책을 따르는 단계)는 기준 정책의 비최적성에 따라 유한한 수의 라운드 동안 지속되며, 이는 시간에 따라 증가하지 않는다.
• 시뮬레이션 결과는 CLUCB가 모든 α 값에서 안전성을 유지함을 확인하였고, 표준 LUCB는 특히 작은 α 값일 경우 초기 단계에서 상당한 비율의 라운드에서 안전성 제약 조건을 위반함을 보여줌.
• 초기 보수적 단계 이후 CLUCB의 단계별 성능 오차는 LUCB의 성능 오차로 수렴하며, α가 클수록(즉, 안전성 제약이 느슨할수록) 수렴 속도가 빠름.
• 기존의 다항 밴디트에서 보수적 성능 오차가 T에 비례해 증가하는 것과 달리, CLUCB의 성능 오차 상한은 보수성의 영향을 상수항으로만 포함하여 이전 연구를 향상시킴.