[논문 리뷰] Contextual Bandit Learning with Predictable Rewards

Alekh Agarwal, Miroslav Dudı́k외 3명|arXiv (Cornell University)|2012. 02. 07.

Advanced Bandit Algorithms Research참고 문헌 10인용 수 46

한 줄 요약

이 논문은 알려진 함수 클래스 내에 완벽한 예측자가 존재하는 실현 가능성 가정을 활용하여 특정 설정에서 일정한 누적 손실을 달성하는 새로운 연속적 밴디트 알고리즘인 Regressor Elimination을 제안한다. 기존 방법과 달리, $\frac{1}{t}$에 의존하는 날카운 임계값을 사용해 성능이 열 劣한 회귀모형을 적극적으로 제거함으로써, 실현 가능성 덕분에 표준 기준이 행동 수 K에 따라 악화되는 경우에도 유리한 분포에서 훨씬 더 빠른 학습이 가능하다는 것을 증명한다.

ABSTRACT

Contextual bandit learning is a reinforcement learning problem where the learner repeatedly receives a set of features (context), takes an action and receives a reward based on the action and context. We consider this problem under a realizability assumption: there exists a function in a (known) function class, always capable of predicting the expected reward, given the action and context. Under this assumption, we show three things. We present a new algorithm---Regressor Elimination--- with a regret similar to the agnostic setting (i.e. in the absence of realizability assumption). We prove a new lower bound showing no algorithm can achieve superior performance in the worst case even with the realizability assumption. However, we do show that for any set of policies (mapping contexts to actions), there is a distribution over rewards (given context) such that our new algorithm has constant regret unlike the previous approaches.

연구 동기 및 목표

• 실현 가능성 가정—알려진 함수 클래스 내에 완벽한 예측자가 존재한다는 것—이 연속적 밴디트 문제에서 더 빠른 학습을 가능하게 하는지 조사하는 것.
• 아그노스틱 접근 방식보다 더 나은 누적 손실 보장을 달성하기 위해 실현 가능성을 활용하는 새로운 알고리즘을 개발하는 것.
• 실현 가능성 조건 하에서 행동 수 K에 관계없이 일정한 누적 손실을 달성할 수 있는 조건을 분석하는 것.
• 실현 가능성 조건만으로도 최악의 경우에 $\tfrac{1}{\tsqrt{K}}$ 의존성이 제거되지 않는다는 것을 보여주는 이론적 하한을 설정하는 것.
• 모든 정책 클래스에 대해, Regressor Elimination이 로그 수준의 누적 손실을 달성할 수 있는 보상 분포가 존재하며, 이는 이전 방법들과의 대비에서 중요한 점이다.

제안 방법

• Regressor Elimination은 후보 회귀모형의 집합을 유지하고, 이들의 분포를 활용해 탐색과 이용의 균형을 이룬다.
• 각 라운드에서 혼합 전략을 사용해 행동을 선택한다: 높은 확률로는 회귀모형을 샘플링하고, 그에 따라 탐욕적으로 행동한다; 낮은 확률 $\tfrac{1}{2K}$ 로는 현재의 회귀모형 집합 내에서 행동을 균일하게 탐색한다.
• 각 정책의 행동이 충분한 확률으로 선택되도록 보장하는 타당성 제약 조건(식 3.1)을 도입함으로써, 회귀모형 오차에서 정책 성능으로의 누적 손실 전이가 가능해진다.
• 실제 오차가 최고 성능보다 $\tfrac{18\text{ln}(1/\tdelta_t)}{t}$ 초과하는 회귀모형은 제거되며, $\tdelta_t = \tfrac{\tdelta}{2Nt^3\text{log}_2(t)}$ 이다.
• 실현 가능성 조건 하에서 제거 규칙가 강화되어 최적의 회귀모형이 절대 제거되지 않음을 보장하며, 이는 핵심적인 기술적 기여이다.
• 알고리즘 분석은 새로운 누적 손실 전이 레이마에 기반하며, 이는 회귀모형 오차와 정책 누적 손실 간의 직접적 연결을 제공함으로써, 이전의 아그노스틱 방법보다 더 날카운 상한을 도출할 수 있게 한다.

실험 결과

연구 질문

• RQ1 실현 가능성 가정—알려진 함수 클래스 내에 완벽한 예측자가 존재한다는 것—이 아그노스틱 설정보다 연속적 밴디트 문제에서 더 빠른 학습을 가능하게 할 수 있는가?
• RQ2 실현 가능성 조건 하에서 행동 수 K에 관계없이 일정한 누적 손실을 달성할 수 있는 영역가 존재하는가?
• RQ3 실현 가능성 조건 하에서 최적의 회귀모형이 제거되지 않도록 보장하면서도, 더 공격적인 제거 전략을 안전하게 적용할 수 있는가?
• RQ4 실현 가능성 조건 하에서 성능의 본질적 한계는 무엇이며, 최악의 경우에도 여전히 $\tsqrt{K}$ 스케일링이 필요할까?
• RQ5 모든 정책 클래스에 대해, Regressor Elimination이 이전 알고리즘들과 달리 로그 수준의 누적 손실을 달성할 수 있는 보상 분포가 존재하는가?

주요 결과

• Regressor Elimination은 $\tcal{O}(\tsqrt{KT\text{ln}(NT/\tdelta)})$ 의 누적 손실 상한을 달성하며, 일반적인 경우 아그노스틱 설정과 동일한 순서를 유지하지만, 실현 가능성 덕분에 상수항이 향상된다.
• 논문은 실현 가능성 조건 하에서도 어떤 알고리즘도 $\tOmega(\tsqrt{KT})$ 의 최악의 경우 누적 손실을 초과할 수 없음을 보여주는 새로운 하한을 증명하며, $\tsqrt{K}$ 의존성이 일반적으로 피할 수 없다는 것을 입증한다.
• 모든 정책 클래스 $\tPi$ 에 대해, Regressor Elimination이 $\tcal{O}(\ttext{ln}(N/\tdelta))$ 의 누적 손실을 달성할 수 있는 보상 분포가 존재하며, 이는 $T$ 와 $K$ 에 관계없이 일정하다. 이는 이전 접근 방식과의 대비에서 중요한 점이다.
• 실현 가능성 조건 하에서 $\tfrac{1}{t}$-의존 오차 임계값에 기반한 제거 규칙은 최적의 회귀모형이 절대 제거되지 않음을 보장하며, 이는 핵심적인 기술적 통찰이다.
• 탐색 분포 제약 조건(식 3.1)의 타당성은 개선된 분석을 통해 증명되었으며, 이는 Dudik 등(2011)의 이전 작업을 향상시킨다.
• 누적 손실 전이 레이마는 회귀모형 오차와 정책 누적 손실 간의 직접적 연결을 수립하며, 실현 가능성 가정을 활용해 더 날카운 상한을 도출할 수 있게 한다.