[논문 리뷰] Learning to Optimize Via Posterior Sampling

Daniel Russo, Benjamin Van Roy|arXiv (Cornell University)|2013. 01. 11.

Advanced Bandit Algorithms Research참고 문헌 31인용 수 15

한 줄 요약

이 논문은 종속된 액션 보상이 있는 온라인 최적화 문제, 특히 다중 손잡이 밴딧 문제에서 탐색과 이용의 균형을 이루기 위한 사후 표본 추출(Thompson Sampling)을 제안한다. 사후 표본 추출과 UCB 알고리즘 간의 이론적 연결을 확립하고, 새로운 개념인 eluder 차원을 사용하여 일반적인 베이지안 위험 한계를 유도한다. 이는 선형 모델 및 일반화된 선형 모델에 대해 기존의 한계와 동일하거나 이를 초월한다.

ABSTRACT

This paper considers the use of a simple posterior sampling algorithm to balance between exploration and exploitation when learning to optimize actions such as in multi-armed bandit problems. The algorithm, also known as Thompson Sampling, offers significant advantages over the popular upper confidence bound (UCB) approach, and can be applied to problems with finite or infinite action spaces and complicated relationships among action rewards. We make two theoretical contributions. The first establishes a connection between posterior sampling and UCB algorithms. This result lets us convert regret bounds developed for UCB algorithms into Bayesian regret bounds for posterior sampling. Our second theoretical contribution is a Bayesian regret bound for posterior sampling that applies broadly and can be specialized to many model classes. This bound depends on a new notion we refer to as the eluder dimension, which measures the degree of dependence among action rewards. Compared to UCB algorithm Bayesian regret bounds for specific model classes, our general bound matches the best available for linear models and is stronger than the best available for generalized linear models. Further, our analysis provides insight into performance advantages of posterior sampling, which are highlighted through simulation results that demonstrate performance surpassing recently proposed UCB algorithms.

연구 동기 및 목표

• 의존적인 액션 보상이 있는 불확실성 하에서 이론적으로 타당하고 실용적인 온라인 최적화 알고리즘을 개발하기 위해.
• 신뢰집합의 철저한 설계가 필요하고 계산적으로 비용이 많이 드는 UCB 알고리즘의 한계를 해결하기 위해.
• 다양한 모델 클래스에 적용 가능한 일반적인 베이지안 위험 한계를 제공하기 위해.
• eluder 차원의 개념을 도입하고 공식화하여 액션 간 보상 의존성의 정도를 측정하기 위해.
• 이론과 시뮬레이션을 통해 사후 표본 추출이 최신의 UCB 알고리즘보다 뛰어난 성능을 보임을 보여주기 위해.

제안 방법

• 논문은 보상 함수에 대한 사후 분포에서 샘플을 추출하여 최적일 가능성이 높은 액션을 선택하는 사후 표본 추출 알고리즘을 제안한다.
• 모든 신뢰구간 순서를 사용하여 사후 표본 추출의 베이지안 위험을 제한할 수 있음을 보여줌으로써, 사후 표본 추출과 UCB 간의 이론적 연결을 확립한다.
• 이 방법은 함수 클래스의 복잡성 정도를 측정하는 eluder 차원을 도입한다.
• 선형 모델 및 일반화된 선형 모델와 같은 특정 모델에 대해서는 설계 행렬과 역공분산 행렬의 성장률을 분석하여 명시적인 위험 한계를 도출한다.
• 행렬 행렬식 보조정리와 고유값 한계를 사용하여 정보 행렬의 성장을 통제함으로써 유한 시간 위험 한계를 가능하게 한다.
• 이러한 기법을 적용하여 비최적 액션의 선택 횟수에 대한 한계를 도출하고, 많은 경우에 로그 형태의 위험을 얻는다.

실험 결과

연구 질문

• RQ1 사후 표본 추출은 종속된 액션을 가진 온라인 최적화에서 강력한 이론적 성능 보장을 달성할 수 있는가?
• RQ2 사후 표본 추출의 성능은 위험 한계 측면에서 UCB 알고리즘과 비교해 볼 때 어떻게 되는가?
• RQ3 eluder 차원은 베이지안 최적화에서 함수 클래스의 복잡성 특성을 기술하는 데 어떤 역할을 하는가?
• RQ4 사후 표본 추출과 UCB 간의 연결을 공식화하여 기존의 UCB 위험 한계를 베이지안 설정으로 이전할 수 있는가?
• RQ5 특히 고차원 또는 복잡한 모델에서 실무적으로 사후 표본 추출은 최신의 UCB 알고리즘을 능가하는가?

주요 결과

• 사후 표본 추출의 베이지안 위험은 어떤 신뢰구간 순서로도 제한되며, 이는 UCB 알고리즘과의 직접적인 이론적 연결을 확립한다.
• 사후 표본 추출의 일반적 위험 한계는 eluder 차원에 의존하며, 이는 액션 보상 간의 의존성 구조를 측정한다.
• 선형 모델의 경우, 이 한계는 기존에 알려진 최고의 UCB 기반 베이지안 위험 한계와 일치하여 강력한 이론적 성능을 확인한다.
• 일반화된 선형 모델의 경우, 이 한계는 기존에 이용 가능한 최고의 UCB 기반 베이지안 위험 한계를 초월하여 성능 우위를 나타낸다.
• 시뮬레이션 결과는 사후 표본 추출이 최근에 제안된 UCB 알고리즘보다 누적 위험 측면에서 일관되게 뛰어난 성능을 보임을 보여준다.
• 비최적 액션의 선택 횟수는 eluder 차원과 문제의 파라미터에 대한 함수로 제한되며, 이는 많은 설정에서 로그 형태의 위험을 이끌어낸다.