[논문 리뷰] Information Directed Sampling and Bandits with Heteroscedastic Noise

Johannes Kirschner, Andreas Krause|arXiv (Cornell University)|2018. 01. 29.

Advanced Bandit Algorithms Research참고 문헌 16인용 수 73

한 줄 요약

본 논문은 이질적 노이즈를 갖는 확률적 밴디트에 대해 Information Directed Sampling (IDS)을 제안하고, regret-information ratio를 통해 빈도주의 후회 경계를 도출하며, 선형 및 RKHS 설정에 대한 온라인 최소제곱 집중성 불평등을 갖춘 IDS 변형을 개발한다.

ABSTRACT

In the stochastic bandit problem, the goal is to maximize an unknown function via a sequence of noisy evaluations. Typically, the observation noise is assumed to be independent of the evaluation point and to satisfy a tail bound uniformly on the domain; a restrictive assumption for many applications. In this work, we consider bandits with heteroscedastic noise, where we explicitly allow the noise distribution to depend on the evaluation point. We show that this leads to new trade-offs for information and regret, which are not taken into account by existing approaches like upper confidence bound algorithms (UCB) or Thompson Sampling. To address these shortcomings, we introduce a frequentist regret analysis framework, that is similar to the Bayesian framework of Russo and Van Roy (2014), and we prove a new high-probability regret bound for general, possibly randomized policies, which depends on a quantity we refer to as regret-information ratio. From this bound, we define a frequentist version of Information Directed Sampling (IDS) to minimize the regret-information ratio over all possible action sampling distributions. This further relies on concentration inequalities for online least squares regression in separable Hilbert spaces, which we generalize to the case of heteroscedastic noise. We then formulate several variants of IDS for linear and reproducing kernel Hilbert space response functions, yielding novel algorithms for Bayesian optimization. We also prove frequentist regret bounds, which in the homoscedastic case recover known bounds for UCB, but can be much better when the noise is heteroscedastic. Empirically, we demonstrate in a linear setting with heteroscedastic noise, that some of our methods can outperform UCB and Thompson Sampling, while staying competitive when the noise is homoscedastic.

연구 동기 및 목표

• 관찰 노이즈가 평가 지점에 의존하는 확률적 밴디트를 동기화하고 형식화한다(이질성).
• Russo and Van Roy(2014)와 유사한 빈도주의 후회 프레임워크를 개발하고 regret-information ratio를 정의한다.
• 행동 분포 전체에서 regret-information ratio를 최소화하는 빈도주의 IDS를 도입한다.
• 이질성 노이즈에 대해 온라인 최소제곱의 집중 불평등을 확장하여 강건한 신뢰 구간을 가능하게 한다.
• 선형 및 RKHS 응답 함수에 대한 IDS 변형을 형식화하고 해당 후회 경계 및 실용 알고리즘을 도출한다.

제안 방법

• regret-information ratio와 총 정보 이득(gamma_T)에 의존하는 무작위 정책에 대한 새로운 후회 경계를 정의한다.
• IDS 최적화를 가능하게 하기 위해 Delta_t^+인 신뢰 구간을 사용하여 Psi_t^+라는 대리 regret-information ratio를 도입한다.
• Psi_t^+(mu)의 최소해의 존재성과 구조적 특성(예: 두 동작 지지)을 입증하고, 더 저렴한 대안으로 결정론적 IDS(DIDS)를 도출한다.
• 선형 및 RKHS 설정에서 이질성 노이즈에 대해 온라인 최소제곱 집중 불평등을 일반화하여 f의 신뢰 구간을 도출한다.
• RKHS/선형 설정에서 IDS를 이끄는 두 가지 정보 이득 함수 I_t^F와 I_t^UCB를 정의하고 이를 상호 정보 및 사후 분산과 관련짓는다.
• 알고리즘 변형들의 개요를 제시하고 동질 노이즈(homoscedastic)인 경우에 UCB 유사 결과를 되돌려주고 이질 노이즈에서 개선을 보이는 이론적 후회 경계를 제공한다.

실험 결과

연구 질문

• RQ1 이질성 노이즈가 밴디트의 탐험-개활용 트레이드오프에 어떤 영향을 미치는가?
• RQ2 이질성 노이즈하에서 regret-information ratio를 이용한 빈도주의 후회 프레임워크가 후회를 한정할 수 있는가?
• RQ3 IDS를 이질성 설정에서 정보를 최대화하면서 후회를 최소화하도록 적응시킬 수 있는가?
• RQ4 선형 및 RKHS 모델에 대해 온라인 최소제곱 집중 결과를 이질성 노이즈에 맞게 확장하는 방법은?
• RQ5 이질성 선형/RKHS 밴디트에서 IDS 변형이 UCB와 Thompson Sampling보다 성능이 우수하며, 동질성인 경우에는 어떠한 비교가 이루어지는가?

주요 결과

• regret-information ratio와 gamma_T에 의존하는 무작위 정책에 대한 새로운 고확률 후회 경계.
• 신뢰 구간을 이용해 대리 regret-information ratio를 최소화하는 빈도주의 IDS 버전.
• IDS 변형이 선형 이질성 설정에서 UCB 및 Thompson Sampling을 능가할 수 있음을 시연했고, 노이즈가 동질성일 때도 경쟁력 있는 성능을 보임.
• 유한 차원 및 RKHS 설정에서 이질성 노이즈에 대해 온라인 최소제곱 집중 불평등을 확장했다.
• IDS 최소해가 최대 두 개의 행동으로 지지될 수 있음을 보였고, 연속 행동 공간에서 계산적 타당성을 돕는다.
• 동질성의 경우 알려진 UCB형 후회 경계를 되찾았고 이질 노이즈에서 잠재적 개선 가능성을 제시했다.