[논문 리뷰] Normal Bandits of Unknown Means and Variances: Asymptotic Optimality, Finite Horizon Regret Bounds, and a Solution to an Open Problem

Wesley Cowan, Michael N. Katehakis외 1명|arXiv (Cornell University)|2015. 04. 22.

Advanced Bandit Algorithms Research참고 문헌 38인용 수 8

한 줄 요약

이 논문은 평균과 분산이 알려지지 않은 정규 분포를 가진 다수의 손잡이 밴딧 문제에 대해, 점점 커지는 표본 평균(ISM) 인덱스 정책을 제안하며, 점점 커지는 최적성과 유한한 수평기 기대 손실 한계를 증명한다. 이는 버네타스와 케테하키스(1996b)에서 제기한 열린 문제를 해결하며, ISM 정책이 손실 증가에 대한 정보 이론적 하한선을 달성하여, 톰슨 샘플링의 점점 커지는 성능를 따라가면서도 결정론적이고 인덱스 기반의 대안을 제공한다.

ABSTRACT

Consider the problem of sampling sequentially from a finite number of $N \geq 2$ populations, specified by random variables $X^i_k$, $ i = 1,\ldots , N,$ and $k = 1, 2, \ldots$; where $X^i_k$ denotes the outcome from population $i$ the $k^{th}$ time it is sampled. It is assumed that for each fixed $i$, $\{ X^i_k \}_{k \geq 1}$ is a sequence of i.i.d. normal random variables, with unknown mean $μ_i$ and unknown variance $σ_i^2$. The objective is to have a policy $π$ for deciding from which of the $N$ populations to sample form at any time $n=1,2,\ldots$ so as to maximize the expected sum of outcomes of $n$ samples or equivalently to minimize the regret due to lack on information of the parameters $μ_i$ and $σ_i^2$. In this paper, we present a simple inflated sample mean (ISM) index policy that is asymptotically optimal in the sense of Theorem 4 below. This resolves a standing open problem from Burnetas and Katehakis (1996). Additionally, finite horizon regret bounds are given.

연구 동기 및 목표

• 모르는 평균과 분산을 가진 정규 밴딧 문제에 대해 점점 커지는 최적성에 관한 오랫동안 미해결된 열린 문제를 다루는 것.
• 모르는 매개변수 하에서 최적의 손실 증가율을 달성하는 결정론적이고 인덱스 기반의 정책을 개발하는 것.
• 제안된 정책에 대해 유한한 수평기 기대 손실 한계를 설정하여 점점 커지는 분석을 넘어서는 성능 보장을 확보하는 것.
• UCB와 톰슨 샘플링과 같은 기존 방법들과 기대 손실과 분산 측면에서 ISM 정책을 비교하는 것.
• ISM 정책이 손실 증가에 대한 정보 이론적 하한선을 달성함으로써 점점 커지는 최적성을 확인하는 것.

제안 방법

• 탐색과 이용의 균형을 이루기 위해 분산에 의존하는 보정 항을 포함한 수정된 표본 평균을 사용하는 불린 표본 평균(ISM) 인덱스 정책을 도입한다.
• 계산의 단순성과 이론적 유도와의 일致를 위해 $ S_i^2(k) = \sum_{t=1}^k (X^i_t - \bar{X}^i_k)^2 / k $ 형태의 편향된 표본 분산 추정량을 사용하는 빈도주의 접근을 채택한다.
• 집중 불등식과 마틴게일 추론을 활용하여 비최적 암호의 기대 샘플링 시간을 분석함으로써, 유한한 수평기 기대 손실 한계를 유도한다.
• 손실이 $ \lim_{n \to \infty} R_{\pi}(n) / \ln n = \mathbb{M}_{\text{BK}}(\underline{\mu}, \underline{\sigma}^2) $ 를 만족함을 증명함으로써 점점 커지는 최적성을 입증한다. 이는 정보 이론적 하한선과 일치한다.
• 여러 밴딧 매개변수 설정에서 ISM, UCB1-NORMAL, 게으른 정책, 톰슨 샘플링 정책 간의 비교를 위한 시뮬레이션 연구를 통해 이론적 결과를 검증한다.
• 수치 실험을 통해 정책 간의 손실과 손실 분산을 비교하여, 맥락에 따라 성능 차이가 있음을 보여준다.

실험 결과

연구 질문

• RQ1 정규 보상과 모르는 평균 및 분산을 가진 다수의 손잡이 밴딧 문제에서 결정론적이고 인덱스 기반의 정책이 점점 커지는 최적성을 달성할 수 있는가?
• RQ2 그러한 정책에 대해 어떤 유한한 수평기 손실 한계를 설정할 수 있으며, 기존 방법들과 비교해 볼 때 어떻게 다른가?
• RQ3 제안된 ISM 정책이 정규 밴딧 문제에 대해 버네타스-케테하키스 프레임워크에서 점점 커지는 최적성의 열린 문제를 해결하는가?
• RQ4 실제로 톰슨 샘플링과 같은 확률적 정책과 비교했을 때, 기대 손실과 분산 측면에서 ISM 정책은 어떻게 성능을 내는가?
• RQ5 ISM 정책이 톰슨 샘플링 또는 UCB 기반 방법보다 우월하거나 열등한 조건은 무엇인가?

주요 결과

• ISM 정책는 점점 커지는 최적성이며, $ \lim_{n \to \infty} R_{\pi}(n) / \ln n = \mathbb{M}_{\text{BK}}(\underline{\mu}, \underline{\sigma}^2) $ 를 만족하여 버네타스와 케테하키스(1996b)에서 확립한 정보 이론적 하한선과 일치한다.
• 유한한 수평기 손실 한계가 유도되었으며, 이는 ISM 정책의 손실이 $ n $ 에 대해 로그적으로 증가함을 보여주며, 최적의 속도를 따른다.
• 시뮬레이션 결과에 따르면, ISM 정책은 기대 손실 측면에서 톰슨 샘플링과 유사한 성능을 보이며, 최적의 밴딧이 비최적의 것보다 분산이 높은 경우에 약간의 우위를 보인다.
• 시험 설정에서 ISM 정책는 톰슨 샘플링보다 샘플 손실의 분산이 더 낮아 더 일관된 성능을 보였다.
• 제안된 정책는 모르는 평균과 분산을 가진 정규 밴딧 문제에 대해 점점 커지는 최적성의 열린 문제를 해결하였으며, 확률적 정책에 대한 결정론적 대안을 제공한다.
• 수치적 비교 결과, 특히 초기 및 중간 수평기 동안, ISM 정책는 게으른 정책과 UCB1-NORMAL 정책보다 손실 측면에서 뛰어난 성능을 보였다.