[논문 리뷰] Structural Properties of Bayesian Bandits with Exponential Family Distributions

Yaming Yu|arXiv (Cornell University)|2011. 03. 16.

Advanced Bandit Algorithms Research참고 문헌 20인용 수 3

한 줄 요약

이 논문은 지수형분포 가족의 우도와 쌍대 prior를 갖는 베이지안 밴디트의 일반적인 구조적 성질을 수립하며, 각 암의 가치가 사전 평균에 따라 증가하고 사전 가중치에 따라 감소함을 증명함으로써 베르누이 및 정규 밴디트에 대해 알려진 결과들을 통합하고 확장한다. 주요 기여는 스트로스틱 순서와 볼록성에 기반한 분포에 종속되지 않는 탐색-이용 갈등의 공식적 특성화이다.

ABSTRACT

We study a bandit problem where observations from each arm have an exponential family distribution and different arms are assigned independent conjugate priors. At each of n stages, one arm is to be selected based on past observations. The goal is to find a strategy that maximizes the expected discounted sum of the $n$ observations. Two structural results hold in broad generality: (i) for a fixed prior weight, an arm becomes more desirable as its prior mean increases; (ii) for a fixed prior mean, an arm becomes more desirable as its prior weight decreases. These generalize and unify several results in the literature concerning specific problems including Bernoulli and normal bandits. The second result captures an aspect of the exploration-exploitation dilemma in precise terms: given the same immediate payoff, the less one knows about an arm, the more desirable it becomes because there remains more information to be gained when selecting that arm. For Bernoulli and normal bandits we also obtain extensions to nonconjugate priors.

연구 동기 및 목표

• 지수형분포 가족 전반에 걸쳐 베이지안 밴디트의 단조성 결과를 통합하고 일반화하기.
• 스트로스틱 순서를 사용하여 사전 평균과 사전 가중치의 관점에서 탐색-이용 갈등을 공식화하기.
• 베르누이 및 정규 밴디트에 대해 쌍대 prior를 초월한 구조적 결과를 확장하기.
• 유한 수평, 비기하 할인 설정에서 깁스틴 인덱스와 동적 할당의 이론적 기초 제공하기.

제안 방법

• 사전 평균 γ와 사전 가중치 τ로 매개변수화된 쌍대 prior를 갖는 지수형분포 가족을 사용하여 이암 밴디트 문제를 공식화하기.
• 후행 분포와 가치 함수를 다양한 사전 조건 간 비교하기 위해 볼록 순서와 우도 비율 순서를 사용하기.
• 유한 수평 문제와 일반 할인 수열을 위한 가치 함수 유도를 위해 역행 추론과 동적 프로그래밍 적용하기.
• 유도와 스트로스틱 지배 논증을 통해 가치 함수가 사전 평균에 대해 증가하고 사전 가중치에 대해 감소함을 증명하기.
• 볼록 순서와 후행 분산 상한을 사용하여 베르누이 및 정규 밴디트의 비쌍대 prior로 결과 확장하기.
• 정규 위치-스케일 가족의 성질과 후행 평균 도함수를 활용하여 커풀레이션 하에서의 단조성 확립하기.

실험 결과

연구 질문

• RQ1 지수형분포 우도를 갖는 베이지안 밴디트에서 사전 평균은 암의 최적 가치에 어떻게 영향을 미치는가?
• RQ2 불확실성이 존재할 때 사전 가중치(표본 크기)는 암의 유용성에 어떻게 영향을 미치는가?
• RQ3 스트로스틱 순서를 사용하여 지수형분포 밴디트 전반에 걸쳐 탐색-이용 갈등을 균일하게 특성화할 수 있는가?
• RQ4 깁스틴 인덱스의 단조성은 비기하 할인에 대해 확장되는가?
• RQ5 베르누이 및 정규 밴디트의 비쌍대 prior에 대해 단조성 결과를 확장할 수 있는가?

주요 결과

• 고정된 사전 가중치에서, 어떤 암의 사전 평균이 증가할수록 최적의 기대 보상이 증가한다.
• 고정된 사전 평균에서, 어떤 암의 사전 가중치가 감소할수록 최적의 기대 보상이 증가한다. 이는 탐색의 가치를 공식화한다.
• 정규 사전의 평균에 대해 가치 함수가 볼록함을 보여주며, 이는 후행 평균을 충분통계량으로 사용하는 것을 뒷받침한다.
• 후행 평균 도함수는 후행 분산과 동일하며, 이는 믿음 갱신 속도에 대한 상한을 가능하게 한다.
• 베르누이 및 정규 밴디트의 비쌍대 prior에 대해서도 동일한 단조성이 볼록 순서와 스트로스틱 지배 하에 유지된다.
• 낮은 사전 가중치가 항상 더 높은 깁스틴 인덱스를 유도한다는 추측은 비기하 할인 설정에서는 여전히 미해결이다.