[논문 리뷰] Generalized Thompson Sampling for Contextual Bandits

Lihong Li|arXiv (Cornell University)|2013. 10. 27.

Advanced Bandit Algorithms Research참고 문헌 17인용 수 17

한 줄 요약

이 논문은 일반화된 톰슨 샘플링(GTS)을 소개한다. GTS는 사용자 정의 가능한 손실 함수를 사용하여 전문가 학습 프레임워크 내에서 톰슨 샘플링을 일반화하는 새로운 맥락 기반 밴디트 알고리즘의 가족이다. 특히 제곱 손실과 로그 손실에서 나타나는 손실 함수의 자기유계성(self-boundedness)을 활용하여, 사전 분포가 학습 성능에 미치는 영향을 명시적으로 정량화하는 레지레트 경계를 도출한다. 이는 기존 방법에 비해 이론적으로 탄탄하고 유연한 대안을 제공한다.

ABSTRACT

Thompson Sampling, one of the oldest heuristics for solving multi-armed bandits, has recently been shown to demonstrate state-of-the-art performance. The empirical success has led to great interests in theoretical understanding of this heuristic. In this paper, we approach this problem in a way very different from existing efforts. In particular, motivated by the connection between Thompson Sampling and exponentiated updates, we propose a new family of algorithms called Generalized Thompson Sampling in the expert-learning framework, which includes Thompson Sampling as a special case. Similar to most expert-learning algorithms, Generalized Thompson Sampling uses a loss function to adjust the experts' weights. General regret bounds are derived, which are also instantiated to two important loss functions: square loss and logarithmic loss. In contrast to existing bounds, our results apply to quite general contextual bandits. More importantly, they quantify the effect of the "prior" distribution on the regret bounds.

연구 동기 및 목표

• 일반 맥락 기반 밴디트에 대해 톰슨 샘플링에서 사전 분포의 역할을 명시적으로 정량화하는 이론적 레지레트 경계가 부족한 문제를 해결하기 위해.
• 파라미터가 아닌 가정을 초월한 톰슨 샘플링의 일반화를 위해 전문가 학습 프레임워크를 사용하는 통합 프레임워크를 개발하기 위해.
• 강력한 사전 정확성 또는 우도 분포에 대한 가정에 의존하지 않고도 비선형 및 일반 맥락 기반 밴디트 설정에 적용 가능한 레지레트 경계를 유도하기 위해.
• 손실 함수를 통해 톰슨 샘플링과 지수 업데이트 규칙 사이의 연결 고리를 설정하여, 더 넓은 이론적 분석을 가능하게 하기 위해.

제안 방법

• 각 전문가가 액션 선택을 위한 맥락 기반 정책를 나타내는 전문가 학습 프레임워크 내에서 일반화된 톰슨 샘플링(GTS)을 알고리즘의 가족으로 제안한다.
• 기대 보상의 예측 정확도에 기반해 손실 함수를 사용해 전문가 가중치를 업데이트하며, 로그 손실을 사용할 경우 톰슨 샘플링이 특수 케이스가 된다.
• 손실 함수의 새로운 자기유계성 성질을 적용하여 레지레트 경계를 도출하며, 제곱 손실과 로그 손실에 대해 철저한 분석을 수행한다.
• 사전 분포가 학습 성능에 미치는 영향을 명시적으로 포함하는 문제 의존적 레지레트 경계를 도출한다.
• 손실 랜덤 변수의 모멘트 경계에 기반한 경쟁 분석 기법을 활용하며, 핵심 레마는 로그 손실의 자기유계성을 증명한다.
• 커버링 추론을 통해 연속 전문가 클래스로 프레임워크를 확장하여, 유한한 전문가 집합을 초월한 적용 가능성을 제안한다.

실험 결과

연구 질문

• RQ1 톰슨 샘플링은 일반 맥락 기반 밴디트 설정에서 파라미터 모델을 초월해 이론적 레지레트 경계를 제공할 수 있는 방식으로 어떻게 일반화될 수 있는가?
• RQ2 맥락 기반 밴디트 학습에서 사전 분포가 레지레트에 미치는 정량적 영향은 무엇이며, 이를 경계에 공식적으로 기록할 수 있는가?
• RQ3 손실 기반 전문가 가중치를 사용하는 맥락 기반 전문가 학습 알고리즘과 연결하는 통합 프레임워크를 개발할 수 있는가?
• RQ4 온라인 학습과 맥락 기반 밴디트에서 날카운 레지레트 분석을 가능하게 하는 손실 함수의 성질은 무엇이며, 이를 어떻게 공식적으로 기술할 수 있는가?

주요 결과

• 일반화된 톰슨 샘플링은 $ O(T^{2/3}) $ 수준의 레지레트 경계를 달성하며, 이는 사전 분포의 영향을 명시적으로 정량화하는 일반 맥락 기반 밴디트 클래스에 대해 처음으로 도출된 경계이다.
• 이 논문에서 처음으로 로그 손실의 자기유계성 성질이 증명되었으며, 진짜 확률과 예측 확률에 관계없이 이동된 손실의 분산 대 평균 비율이 일정한 상수로 유계됨을 보였다.
• 로그 손실의 경우, 유계된 로그 비율 조건 하에서 $ M_2 / M_1 = O(1) $ 임을 분석으로써 밝혀냈으며, 여기서 $ M_1 $ 과 $ M_2 $ 는 손실의 일차 및 이차 모멘트이다.
• 레지레트 경계는 사전 분포가 전문가에 대한 사전 분포를 통해 영향을 미치며, 베이지안 사전과 빈도주의적 강건성의 이점을 결합한 분석을 수행한다. 이는 PAC-Bayes 경계와 유사하다.
• 이 프레임워크는 표준 베이지안 업데이트를 초월해 임의의 손실 함수를 사용해 전문가 가중치 업데이트를 이끌 수 있도록 톰슨 샘플링을 일반화한다.
• Regressor Elimination과 같은 유사 알고리즘에 비해 계산적으로 더 효율적이며, 균형 잡힌 분포 계산이 비용이 많이 드는 점을 고려할 때 유리하다.