[논문 리뷰] A Smoothed Analysis of the Greedy Algorithm for the Linear Contextual Bandit Problem

Sampath Kannan, Jamie Morgenstern외 3명|arXiv (Cornell University)|2018. 01. 10.

Advanced Bandit Algorithms Research인용 수 29

한 줄 요약

이 논문은 선형 연속적 밴디트에서 탐욕 알고리즘의 스무스 분석을 제시하며, 악성(context)에 대한 작은 랜덤 편향이 존재할 경우 탐욕적 접근 방식이 명시적 탐색 없이도 노레그레트 성능을 달성할 수 있음을 보여준다. 핵심 결과는 일반적인(편향된) 환경에서 탐욕적 학습이 치명적인 학습 실패를 피하고, 이용과 장기적 학습을 효과적으로 균형 잡을 수 있다는 것이다.

ABSTRACT

Bandit learning is characterized by the tension between long-term exploration and short-term exploitation. However, as has recently been noted, in settings in which the choices of the learning algorithm correspond to important decisions about individual people (such as criminal recidivism prediction, lending, and sequential drug trials), exploration corresponds to explicitly sacrificing the well-being of one individual for the potential future benefit of others. This raises a fairness concern. In such settings, one might like to run a "greedy" algorithm, which always makes the (myopically) optimal decision for the individuals at hand - but doing this can result in a catastrophic failure to learn. In this paper, we consider the linear contextual bandit problem and revisit the performance of the greedy algorithm. We give a smoothed analysis, showing that even when contexts may be chosen by an adversary, small perturbations of the adversary's choices suffice for the algorithm to achieve "no regret", perhaps (depending on the specifics of the setting) with a constant amount of initial training data. This suggests that "generically" (i.e. in slightly perturbed environments), exploration and exploitation need not be in conflict in the linear setting.

연구 동기 및 목표

• 악성으로 선택된 컨텍스트 상황에서 탐욕 알고리즘이 선형 연속적 밴디트에서 노레그레트 성능을 달성할 수 있는지 조사하기 위해.
• 악성 컨텍스트에 대한 작은 랜덤 편향이 탐욕적 학습이 탐색 부족으로 인한 치명적인 실패를 방지하는 데 충분한지 분석하기 위해.
• 일반적인(약간 편향된) 환경에서 탐욕 알고리즘이 명시적 탐색 없이도 효과적으로 학습할 수 있음을 보여주어 공정성과 장기적 학습 간의 갈등을 해결하기 위해.
• 스무스 분석 하에서 탐욕적 학습의 레그레트에 대한 이론적 한계를 설정하여, 작은 웜스타트만으로도 우수한 성능을 낼 수 있음을 보여주기 위해.

제안 방법

• 악성 컨텍스트가 작은 평균 0인 가우시안 편향을 받는 스무스 분석 모델을 제안한다.
• 선형 보상 함수의 최소 제곱 추정치를 기반으로 예측 보상이 가장 높은 행동을 선택하는 탐욕 알고리즘을 분석한다.
• 초기 웜스타트 단계에서 추정 오차를 제한하기 위해 농도 불등식을 사용하며, 제한된 데이터로 인해 초깃값이 편향될 수 있음을 보여준다.
• 추정 오차로 인해 하위 최적의 액션을 선택하는 라운드 수에 대한 경계를 도출하며, 추정기의 이탈에 대한 확률적 추론을 사용한다.
• 이 경계들을 재귀적 추론과 결합하여, 일정한 확률로 알고리즘이 충분한 라운드 이후에 최적의 액션을 선택함을 보여준다.
• 핵심 기술적 구성 요소는, 높은 확률로 알고리즘이 최적의 액션을 충분히 자주 선택하여 추정 오차를 줄이고 초깃값의 편향을 수정함으로써 노레그레트 성능을 달성할 수 있음을 보여주는 확률적 추론이다.

실험 결과

연구 질문

• RQ1 악성으로 선택된 컨텍스트 상황에서 탐욕 알고리즘이 선형 연속적 밴디트에서 노레그레트 성능을 달성할 수 있는가?
• RQ2 악성 컨텍스트에 대한 작은 랜덤 편향이 탐욕 알고리즘이 치명적인 학습 실패를 피하는 데 충분한가?
• RQ3 웜스타트 크기와 스무스 분석 하에서 탐욕 알고리즘이 겪는 레그레트 사이의 정량적 트레이드오프는 무엇인가?
• RQ4 컨텍스트 벡터의 편향 크기 변화가 탐욕 알고리즘 성능에 어떤 영향을 미치는가?
• RQ5 탐욕 알고리즘이 초기 편향을 수정하고 최적의 결정으로 수렴하기 위해 어떤 조건을 충족해야 하는가?

주요 결과

• 작은 크기의 편향 $\sigma$를 가진 악성 컨텍스트에서, $\epsilon = \min_i |\beta_i|$ 이면 레그레트는 $\Omega\left(\epsilon\left(e^{\frac{1}{18\sigma^{2}}}-n^{2/3}\right)\right)$ 의 순서를 가진다.
• 워크스타트 크기가 $n \leq \frac{1}{2\epsilon}$ 이면, 초기 추정 편향으로 인해 여전히 상당한 레그레트를 겪을 수 있지만, $\sigma$가 충분히 작을 경우 이 레그레트는 $T$에 대해 비선형적으로 증가하며 유한한 경계를 가진다.
• 스무스 환경에서는 노레그레트 성능을 달성하며, 지속적인 하위 최적 선택 확률은 $\sigma^{-2}$에 대해 지수적으로 감소한다.
• 분석 결과, 일정한 확률로 알고리즘이 최적의 액션을 충분히 자주 선택하여 추정 오차를 줄이고 초기 편향을 수정함을 보여준다.
• 핵심 통찰은 작은 편향이 탐욕 학습이 실패하는 최악의 악성 구성 요소를 깨뜨리며, 최적의 결정으로 수렴할 수 있도록 한다.