[논문 리뷰] Bayesian decision-making under misspecified priors with applications to meta-learning

Max Simchowitz, Christopher Tosh외 5명|arXiv (Cornell University)|2021. 12. 06.

Advanced Bandit Algorithms Research인용 수 2

한 줄 요약

이 논문은 오차가 있는 사전 분포를 가진 톰슨 샘플링이 성능이 점진적으로 악화됨을 입증하며, 기대 보상이 잘 지정된 경우와의 차이가 최대 $\tilde{\mathcal{O}}(H^2 \epsilon)$ 이내임을 보여준다. 여기서 $\epsilon$은 사전 분포 간의 총변화 거리이고 $H$는 학습 수평선이다. 분석은 메타학습 및 POMDP를 포함한 베이지안 의사결정 전반에 적용 가능하며, 유계 사전 분포에 대해 행동 공간 크기와 무관한 날카운 감소한 비모수적 경계를 제공한다.

ABSTRACT

Thompson sampling and other Bayesian sequential decision-making algorithms are among the most popular approaches to tackle explore/exploit trade-offs in (contextual) bandits. The choice of prior in these algorithms offers flexibility to encode domain knowledge but can also lead to poor performance when misspecified. In this paper, we demonstrate that performance degrades gracefully with misspecification. We prove that the expected reward accrued by Thompson sampling (TS) with a misspecified prior differs by at most $ ilde{\mathcal{O}}(H^2 \epsilon)$ from TS with a well specified prior, where $\epsilon$ is the total-variation distance between priors and $H$ is the learning horizon. Our bound does not require the prior to have any parametric form. For priors with bounded support, our bound is independent of the cardinality or structure of the action space, and we show that it is tight up to universal constants in the worst case. Building on our sensitivity analysis, we establish generic PAC guarantees for algorithms in the recently studied Bayesian meta-learning setting and derive corollaries for various families of priors. Our results generalize along two axes: (1) they apply to a broader family of Bayesian decision-making algorithms, including a Monte-Carlo implementation of the knowledge gradient algorithm (KG), and (2) they apply to Bayesian POMDPs, the most general Bayesian decision-making setting, encompassing contextual bandits as a special case. Through numerical simulations, we illustrate how prior misspecification and the deployment of one-step look-ahead (as in KG) can impact the convergence of meta-learning in multi-armed and contextual bandits with structured and correlated priors.

연구 동기 및 목표

• 사전 분포 오차가 톰슨 샘플링과 같은 베이지안 순차적 의사결정 알고리즘에 미치는 영향을 이해하기 위해.
• 행동 공간의 구조에 의존하지 않는, 사전 분포 오차 하에서의 일반적인 민감도 경계를 수립하기 위해.
• 이러한 경계를 베이지안 메타학습 설정으로 확장하고, 다양한 사전 분포 가족에 대해 PAC 보장을 도출하기 위해.
• 맥락 기반 밴드잇을 넘어서 보다 광범위한 베이지안 POMDP 클래스로 결과를 일반화하기 위해.
• 사전 분포 오차의 실용적 영향과 메타학습에서의 한 단계 앞서 보기의 영향을 시뮬레이션을 통해 보여주기 위해.

제안 방법

• 총변화 거리 $\epsilon$와 수평선 $H$를 사용하여, 오차가 있는 사전 분포를 가진 톰슨 샘플링과 잘 지정된 사전 분포를 가진 톰슨 샘플링 간의 기대 보상 차이에 대한 비 渐近 경계를 유도한다.
• 특정한 비모수적 형태를 가정하지 않는 비모수적 접근 방식을 사용한다.
• 유계 지지 사전 분포의 경우 최악의 경우에 대해 보편적 상수의 차이만을 고려하여 경계의 날카움을 입증한다.
• 몬테카를로 구현 방식의 지식 기반 경로(KG) 알고리즘을 포함한 더 넓은 클래스의 베이지안 의사결정 알고리즘으로 민감도 분석을 확장한다.
• 결과를 활용하여 다양한 사전 분포 가족에 적용 가능한 일반적인 PAC 학습 보장을 베이지안 메타학습 설정에서 도출한다.
• 구조적이고 상관성이 있는 사전 분포 하에서 메타학습의 수렴을 평가하고, 한 단계 앞서 보기의 영향을 분석하기 위해 수치 시뮬레이션을 수행한다.

실험 결과

연구 질문

• RQ1 사전 분포 오차는 톰슨 샘플링에서 기대 보상에 어떤 영향을 미치며, 이러한 성능 저하를 경계로 만들 수 있는가?
• RQ2 사전 분포에 대해 비모수적 형태를 가정하지 않고도, 베이지안 의사결정의 사전 분포 오차에 대한 민감도를 정량화할 수 있는가?
• RQ3 베이지안 설정에서의 사전 분포 오차는 메타학습 알고리즘에 어떤 영향을 미치는가?
• RQ4 유도된 경계는 맥락 기반 밴드잇을 넘어서 일반적인 베이지안 POMDP에 어떻게 확장되는가?
• RQ5 한 단계 앞서 보기(예: KG에서처럼)는 메타학습에서 사전 분포 오차의 영향을 완화하거나 악화시키는가?

주요 결과

• 오차가 있는 사전 분포를 가진 톰슨 샘플링과 잘 지정된 사전 분포를 가진 톰슨 샘플링 간의 기대 보상 차이는 $\tilde{\mathcal{O}}(H^2 \epsilon)$ 이내로 경계된다. 여기서 $\epsilon$은 사전 분포 간의 총변화 거리이고 $H$는 학습 수평선이다.
• 사전 분포가 유계 지지일 경우 행동 공간의 기수나 구조와 무관하게 경계가 독립적이다.
• 유계 지지 사전 분포의 경우 최악의 경우에 대해 보편적 상수의 오차만을 고려하여 경계가 날카롭다.
• 민감도 분석은 지식 기반 경로 알고리즘의 몬테카를로 구현 방식을 포함한 더 넓은 클래스의 베이지안 의사결정 알고리즘으로 일반화된다.
• 결과는 다양한 사전 분포 가족에 적용 가능한 일반적인 PAC 보장을 베이지안 메타학습 설정에서 도출한다.
• 수치 시뮬레이션은 사전 분포 오차와 한 단계 앞서 보기의 영향이 특히 구조적이고 상관성이 있는 사전 분포 하에서 수렴에 크게 영향을 준다는 것을 보여준다.