[논문 리뷰] On Upper-Confidence Bound Policies for Non-Stationary Bandit Problems

Aurélien Garivier, Éric Moulines|ArXiv.org|2008. 05. 22.

Advanced Bandit Algorithms Research참고 문헌 18인용 수 180

한 줄 요약

이 논문은 보상 분포가 갑작스럽게 변화하는 비정상적인 다익정문제에 대해 할인 UCB와 슬라이딩 윈도우 UCB라는 두 가지 상한 신뢰도(Upper-Confidence Bound, UCB) 알고리즘을 제안하고 분석한다. 두 알고리즘이 정보이론적 하한값에 로그 인자까지 일치하는 리그레트 한계를 확보함으로써, 비정상 환경에서 거의 최적임을 입증한다.

ABSTRACT

Multi-armed bandit problems are considered as a paradigm of the trade-off between exploring the environment to find profitable actions and exploiting what is already known. In the stationary case, the distributions of the rewards do not change in time, Upper-Confidence Bound (UCB) policies have been shown to be rate optimal. A challenging variant of the MABP is the non-stationary bandit problem where the gambler must decide which arm to play while facing the possibility of a changing environment. In this paper, we consider the situation where the distributions of rewards remain constant over epochs and change at unknown time instants. We analyze two algorithms: the discounted UCB and the sliding-window UCB. We establish for these two algorithms an upper-bound for the expected regret by upper-bounding the expectation of the number of times a suboptimal arm is played. For that purpose, we derive a Hoeffding type inequality for self normalized deviations with a random number of summands. We establish a lower-bound for the regret in presence of abrupt changes in the arms reward distributions. We show that the discounted UCB and the sliding-window UCB both match the lower-bound up to a logarithmic factor.

연구 동기 및 목표

• 보상 분포가 알려지지 않은 시점에 갑작스럽게 변화하는 비정상적인 다익정문제 환경에서의 과제를 다루기.
• 보상 분포의 변화를 추적하지 못하는 정상적인 UCB 정책의 한계를 극복하기.
• 보상 분포의 변화를 추적할 수 있는 두 가지 적응형 UCB 알고리즘—할인 UCB와 슬라이딩 윈도우 UCB—를 개발하고 분석하기.
• 이 알고리즘들의 이론적 리그레트 한계를 확립하고, 비정상적인 밴디트 문제에 대해 유도된 하한값과 비교하기.
• 과정 역사에 따라 달라지는 랜덤 수의 항목을 포함한 자기정규화된 편차에 대해 새로운 호프딩 유형 부등식을 제공하여 분석을 지원하기.

제안 방법

• 과거 보상에 지수적으로 감소하는 가중치를 부여하여 최근 관측치에 더 큰 중요도를 부여하는 할인 UCB 알고리즘을 제안한다.
• 최근 관측치의 고정된 크기의 윈도우를 유지하고 윈도우 크기 이전의 데이터는 무시하는 슬라이딩 윈도우 UCB 알고리즘을 도입한다.
• 항목의 수가 랜덤하고 과정 역사에 따라 달라지는 경우에 대해 자기정규화된 편차에 대한 새로운 호프딩 유형 부등식을 유도한다.
• 이 부등식을 사용하여 하위최적 암을 뽑는 횟수의 기대값을 상한으로 제시함으로써 리그레트를 직접 제어한다.
• 집중 불등식과 마틴게일 추론을 적용하여 비정상성 하에서 UCB 인덱스의 행동을 분석한다.
• 갑작스러운 변화가 있는 비정상적 설정에서 어떤 정책이라도 얻을 수 있는 리그레트의 하한값을 확립하여 최적성의 기준을 제공한다.

실험 결과

연구 질문

• RQ1 UCB 스타일 알고리즘이 비정상적인 밴디트 문제에서 보상 분포의 변화를 추적하도록 어떻게 적응시킬 수 있는가?
• RQ2 보상 분포가 갑작스럽게 변화할 경우 할인 UCB와 슬라이딩 윈도우 UCB 알고리즘이 리그레트 측면에서 어떻게 성능을 내는가?
• RQ3 알 수 없는 변화 시점이 있는 비정상적 밴디트 문제에서 리그레트의 기본 한계(하한값)는 무엇인가?
• RQ4 UCB 분석을 랜덤 수의 항목을 포함한 자기정규화된 편차에 대해 어떻게 확장할 수 있는가?
• RQ5 제안된 알고리즘들이 정보이론적 하한값에 점점 가까워지는 리그레트를 달성하는가?

주요 결과

• 할인 UCB와 슬라이딩 윈도우 UCB 알고리즘은 모두 유도된 하한값에 로그 인자까지 일치하는 리그레트 한계를 확보하여 거의 최적임을 입증한다.
• 논문은 두 알고리즘에 대해 비점근적 상한값을 확립하여 환경 변화에 효과적으로 적응함을 보여준다.
• 랜덤 수의 항목을 포함한 자기정규화된 편차에 대한 새로운 호프딩 유형 부등식을 유도하고 이를 핵심 기술 도구로 사용한다.
• 분석 결과 하위최적 암의 뽑힘 횟수가 엄격하게 제어됨을 보여주며, 이는 직접적으로 리그레트 한계로 이어진다.
• 갑작스러운 변화가 있는 비정상적 설정에서 리그레트의 하한값을 확립하여, 어떤 정책이라도 T에 대해 로그 인자까지의 상수 배수 이내로 리그레트 증가를 피할 수 없음을 보여준다.
• 제안된 알고리즘은 후자의 정상적 UCB 정책이 최적 암의 변화를 추적하지 못함에 비해 비정상적 환경에서 표준 정상적 UCB 정책보다 우수한 성능을 보인다.