[논문 리뷰] Online Least Squares Estimation with Self-Normalized Processes: An Application to Bandit Problems

Yasin Abbasi-Yadkori, Dávid Pál외 1명|arXiv (Cornell University)|2011. 02. 14.

Advanced Bandit Algorithms Research참고 문헌 17인용 수 39

한 줄 요약

이 논문은 벡터 값 과정을 위한 새로운 자기 정규화 마팅게일 尾 확률 추정치를 제안하며, 이는 온라인 최소 제곱 추정에서 더 날카운 confidence set을 가능하게 한다. 다중 암드 및 선형 밴딧 문제에 적용했을 때, 이는 로그 인자와 상수를 줄여 더 날카운 고확률적 regret bound를 달성하며, 작은 표본 크기에서도 성립한다.

ABSTRACT

The analysis of online least squares estimation is at the heart of many stochastic sequential decision making problems. We employ tools from the self-normalized processes to provide a simple and self-contained proof of a tail bound of a vector-valued martingale. We use the bound to construct a new tighter confidence sets for the least squares estimate. We apply the confidence sets to several online decision problems, such as the multi-armed and the linearly parametrized bandit problems. The confidence sets are potentially applicable to other problems such as sleeping bandits, generalized linear bandits, and other linear control problems. We improve the regret bound of the Upper Confidence Bound (UCB) algorithm of Auer et al. (2002) and show that its regret is with high-probability a problem dependent constant. In the case of linear bandits (Dani et al., 2008), we improve the problem dependent bound in the dimension and number of time steps. Furthermore, as opposed to the previous result, we prove that our bound holds for small sample sizes, and at the same time the worst case bound is improved by a logarithmic factor and the constant is improved.

연구 동기 및 목표

• 순차적 결정 문제에서 상관된 데이터의 과제를 다루기 위해 온라인 최소 제곱 추정에서의 자기 정규화 마팅게일 尾 확률 추정치를 제안한다.
• 자기 정규화 과정을 사용하여 d차원 마팅게일을 위한 尾 확률 추정치에 대한 새로운, 자가 포함된 증명을 개발한다.
• 최소 제곱 추정치를 위한 더 날카운 confidence set을 구성하여 밴딧 알고리즘 성능을 향상시킨다.
• 다중 암드 및 선형 밴딧 문제에서 UCB와 ConfidenceBall 알고리즘의 regret bound를 향상시킨다.
• 이전 연구와 달리, 모든 시간 단계 T ≥ 1에서 성립함을 보장한다. 특히 작은 표본 크기에서도 성립한다.

제안 방법

• 자기 정규화 과정과 혼합 방법을 활용하여 d차원 마팅게일을 위한 새로운 尾 확률 추정치를 유도한다.
• 유도된 추정치를 사용하여 더 나은 집중 성질을 가진 최소 제곱 추정치의 confidence set을 구성한다.
• UCB와 ConfidenceBall 알고리즘에서 표준 confidence interval을 새로운 confidence set으로 대체한다.
• 선형 밴딧 설정에서 공분산 행렬의 고유값을 유계로 만들기 위해 행렬 섭동 이론(Stewart와 Sun, 1990)을 적용한다.
• regret을 공분산 행렬 V_T의 로그 행렬식에 연결하는 새로운 regret 분해를 도입한다.
• 로그 및 트레이스 기반 부등식을 사용하여 log det(V_T)를 비최적 행동의 수와 시간 T에 따라 유계로 제한한다.

실험 결과

연구 질문

• RQ1 자기 정규화 과정을 사용하여 벡터 값 마팅게일을 위한 더 날카운 尾 확률 추정치를 도출할 수 있는가? 이는 온라인 학습에서 confidence set을 향상시킬 수 있는가?
• RQ2 새로운 confidence set은 다중 암드 및 선형 밴딧 문제에서 UCB와 ConfidenceBall 알고리즘의 regret 성능에 어떤 영향을 미치는가?
• RQ3 개선된 regret bound는 모든 T ≥ 1에서 고확률적으로 성립하는가? 특히 작은 표본 크기에서도 성립하는가?
• RQ4 로그 인자와 상수 측면에서 문제 의존 regret bound는 얼마나 향상될 수 있는가?
• RQ5 새로운 분석은 선형 밴딧 문제에서 Dani 등(2008)의 O(d²/Δ log³T) 결과보다 더 날카운 bound를 도출할 수 있는가?

주요 결과

• 제안된 벡터 값 마팅게일을 위한 尾 확률 추정치는 이전 결과들, 특히 Rusmevichientong와 Tsitsiklis(2010)의 결과보다 자가 포함되며 간단하고 더 날카롭다.
• 수정된 UCB 알고리즘의 고확률적 regret은 O(K log(1/δ)/Δ)로, 원래 UCB의 O(K log T/Δ)보다 향상된다.
• 선형 밴딧 설정에서 수정된 ConfidenceBall 알고리즘은 O(d log T √T + √(d T log(T/δ)))의 regret bound를 달성하며, worst-case bound에서 로그 인자로 향상된다.
• 문제 의존 regret bound는 O(d²/Δ log³T)에서 O((log T + d log log T)² / Δ)로 향상되었으며, 상수는 작고 Δ에 대한 의존성도 더 우수하다.
• 이전 결과들이 충분히 큰 T가 필요로 했던 것과 달리, 새로운 bound는 모든 T ≥ 1에서 성립한다.
• 이 confidence set은 밴딧 외에도 수면 밴딧, 일반화 선형 밴딧, 선형 제어 문제 등에 적용 가능하다.