[논문 리뷰] Extended UCB Policy for Multi-Armed Bandit with Light-Tailed Reward Distributions

Keqin Liu, Qing Zhao|arXiv (Cornell University)|2011. 12. 08.

Advanced Bandit Algorithms Research참고 문헌 7인용 수 5

한 줄 요약

이 논문은 순간생성함수의 존재를 활용하여, 유한 지지가 있는 분포 외에도 모든 경미한 尾 꼬리 분포(특히 국소적 서브-가우시안인 분포)에 대해 최적의 로그 스케일링의 오차를 달성하기 위해 UCB1 인덱스 정책을 확장한다. 제안된 확장된 UCB 정책은 유한 지지가 있는 분포 외에도 적용 가능성을 넓히면서도 로그 스케일링의 오차를 유지한다.

ABSTRACT

We consider the multi-armed bandit problems in which a player aims to accrue reward by sequentially playing a given set of arms with unknown reward statistics. In the classic work, policies were proposed to achieve the optimal logarithmic regret order for some special classes of light-tailed reward distributions, e.g., Auer et al.'s UCB1 index policy for reward distributions with finite support. In this paper, we extend Auer et al.'s UCB1 index policy to achieve the optimal logarithmic regret order for all light-tailed (or equivalently, locally sub-Gaussian) reward distributions defined by the (local) existence of the moment-generating function.

연구 동기 및 목표

• 유한 지지가 있는 보상 분포에 대해서만 최적의 오차를 달성하는 기존 UCB 정책의 한계를 해결하기 위해.
• 유한 지지가 없는 분포를 포함한 모든 경미한 꼬리 분포를 다룰 수 있도록 UCB1 인덱스 정책을 일반화하기 위해.
• 더 넓은 분포 가정 하에서도 최적의 로그 오차 순서를 유지하기 위해.
• 더 넓은 종류의 보상 분포에 대해 최적의 오차를 유지하는 이론적으로 타당한 UCB1의 확장 제공하기 위해.

제안 방법

• 경미한 꼬리 분포의 순간생성함수로부터 유도된 고차원 모멘트 정보를 포함하는 확장된 UCB 인덱스를 제안한다.
• 국소적 서브-가우시안 성질을 사용하여 尾 확률을 유계화하고 각 암의 기대 보상에 대한 신뢰구간을 유도한다.
• 유한 지지 가정을 순간생성함수의 국소 존재 조건으로 대체함으로써 UCB1 샘플링 규칙을 수정한다.
• 누산 생성함수로부터 유도된 분산 대체값에 비례하는 새로운 상한 신뢰구간을 유도한다.
• 국소적 서브-가우시안 조건을 만족하는 분포에 적용 가능한 오차 분석 프레임워크를 수립한다.
• 확장된 인덱스 정책가 UCB1과 동일한 로그 오차 순서를 유지함을 입증한다. 그러나 더 약한 분포 가정 하에 적용된다.

실험 결과

연구 질문

• RQ1 유한 지지가 없는 분포를 포함한 모든 경미한 꼬리 분포에 대해 UCB1 정책을 확장하여 최적의 오차를 달성할 수 있는가?
• RQ2 다수의 보상 분포 문제에서 로그 오차를 유지하기 위해 보상 분포에 필요한 조건은 무엇인가?
• RQ3 보상 분포가 국소적 서브-가우시안이지만 반드시 유한하지 않은 경우, UCB의 신뢰구간을 어떻게 수정할 수 있는가?
• RQ4 국소적 서브-가우시안 분포의 더 넓은 클래스에서 최적의 오차 순서를 유지하는 것이 가능한가?

주요 결과

• 제안된 확장된 UCB 정책는 국소적 서브-가우시안인 모든 경미한 꼬리 보상 분포에 대해 최적의 로그 오차 순서를 달성한다.
• 오차 한계는 시간에 대해 로그 스케일링으로 증가하며, 다수의 보상 분포 문제에 대한 이론적 하한과 일치한다.
• 유한 보상이 요구되는 조건을 제거하여, 순간생성함수가 국소적으로 존재하는 한 더 무거운 꼬리 분포까지도 UCB1의 적용 범위를 넓힌다.
• 이 방법은 UCB1과 동일한 오차 비율을 유지함으로써, 새로운 분포 가정 하에서도 성능 저하 없이 작동함을 확인한다.
• 분석 결과 국소적 서브-가우시안 조건이 오차 제어에 필요한 날카운 신뢰구간을 유도하는 데 충분함을 보여준다.
• 기존 UCB1보다 훨씬 넓은 종류의 보상 분포에 적용 가능한 확장된 정책으로, 정규분포, 지수분포 등 다양한 경미한 꼬리 분포를 포함한다.