[논문 리뷰] Weak Signal Asymptotics for Sequentially Randomized Experiments

Kuang, Xu, Stefan Wager|arXiv (Cornell University)|2021. 01. 25.

Advanced Bandit Algorithms Research참고 문헌 43인용 수 4

한 줄 요약

이 논문은 순차적으로 랜덤화된 실험에 대한 약한 신호 점근적 프레임워크를 제안하며, 보상 간격이 $1/\text{sqrt}(n)$ 비율로 스케일링될 경우 표본 경로가 확률적 미분 방정식으로 정의되는 확산 극한에 약하게 수렴함을 보여준다. 주요 기여는 회귀와 믿음 동역학에 대한 개선된 인스턴스별 분석으로, 이는 리프시츠 연속적 샘플링이 큰 간격에서 최적의 회귀를 이룩하지 못함을 드러내며, 점점 더 정보가 없는 사전 분포를 갖는 톰슨 샘플링이 약한 신호 환경에서도 거의 최적의 회귀 스케일링을 달성함을 보여준다.

ABSTRACT

We use the lens of weak signal asymptotics to study a class of sequentially randomized experiments, including those that arise in solving multi-armed bandit problems. In an experiment with $n$ time steps, we let the mean reward gaps between actions scale to the order $1/\sqrt{n}$ so as to preserve the difficulty of the learning task as $n$ grows. In this regime, we show that the sample paths of a class of sequentially randomized experiments -- adapted to this scaling regime and with arm selection probabilities that vary continuously with state -- converge weakly to a diffusion limit, given as the solution to a stochastic differential equation. The diffusion limit enables us to derive refined, instance-specific characterization of stochastic dynamics, and to obtain several insights on the regret and belief evolution of a number of sequential experiments including Thompson sampling (but not UCB, which does not satisfy our continuity assumption). We show that all sequential experiments whose randomization probabilities have a Lipschitz-continuous dependence on the observed data suffer from sub-optimal regret performance when the reward gaps are relatively large. Conversely, we find that a version of Thompson sampling with an asymptotically uninformative prior variance achieves near-optimal instance-specific regret scaling, including with large reward gaps, but these good regret properties come at the cost of highly unstable posterior beliefs.

연구 동기 및 목표

• 최악의 보장을 넘어서 고위험·소규모 응용 분야에서의 순차적 실험에 대한 개선된 인스턴스별 이해를 도출하는 것.
• 보상 간격이 $1/\text{sqrt}(n)$ 비율로 스케일링되는 약한 신호 점근적 환경에서, 특히 회귀와 믿음 진화의 확률적 역학을 분석하는 것.
• 연속적인 암 선택 확률을 갖는 순차적 랜덤화 마르코프 실험에 대한 확산 극한을 도출하여 표본 경로와 성능에 대한 분포적 통찰을 가능하게 하는 것.
• 특히 회귀 스케일링과 믿음 안정성에 중점을 두고, 톰슨 샘플링과 UCB와 같은 인기 있는 알고리즘의 성능을 이 새로운 점근적 환경에서 평가하는 것.
• 밴딧 문헌에서의 경험적 관습과 일치하는, 톰슨 샘플링에서 분산이 큰 사전 분포를 사용하는 것에 대한 이론적 근거를 제공하는 것.

제안 방법

• 시간 단계 수 $n \to \infty$일 때 보상 간격이 $1/\text{sqrt}(n)$ 비율로 스케일링되는 약한 신호 점근적 환경을 채택하여 학습 난이도를 유지하는 것.
• 순차적으로 랜덤화된 마르코프 실험의 스케일링된 표본 경로가 확률적 미분 방정식(SDE)의 해로 정의되는 확산 과정으로 약한 수렴을 확립하는 것.
• 시간 변화 기법을 사용하여 극한 누적 보상을 누적 샘플링 확률에 의해 유도되는 시간 변화가 있는 브라운 운동과 드리프트의 형태로 표현하는 것.
• 확산 극한을 활용하여 톰슨 샘플링과 리프시츠 연속적 샘플링 함수에서의 회귀와 믿음 진동을 분석하고, 인스턴스별 성능에 중점을 두는 것.
• 톰슨 샘플링에서 사전 분산의 영향을 분석하여 정보가 많은 사전과 점점 더 정보가 없는 사전 분포에서의 성능을 비교하는 것.
• SDE 프레임워크를 활용하여 순차적 실험의 확률적 행동에 대한 정밀한 분포적 통찰을 도출하며, 일시적 믿음 동역학과 회귀 스케일링을 포함하는 것.

Figure 1 : Regret profile for two-armed Thompson sampling, for $c=1$ , 1/2, 1/4, 1/8, 1/16, 1/32, 1/64, 1/256, 1/1024, and finally $c=0$ . We use $\sigma^{2}=1$ throughout. The left panel shows expected regret, while the right panel shows $\mathbb{E}\left[Q_{1}\right]$ . The curves with positive val

실험 결과

연구 질문

• RQ1 보상 간격이 $1/\text{sqrt}(n)$ 비율로 스케일링되는 약한 신호 점근적 환경에서 순차적으로 랜덤화된 실험의 회귀와 믿음 동역학은 어떻게 행동하는가?
• RQ2 어떤 조건에서 순차적으로 랜덤화된 실험은 약한 수렴을 통해 확산 극한으로 수렴하며, 그 극한 SDE의 형태는 무엇인가?
• RQ3 암 선택 확률의 연속성(예: 리프시츠 연속적 대비 비연속적)은 약한 신호 환경에서 회귀 성능에 어떤 영향을 미치는가?
• RQ4 정보가 없는 사전 분포를 갖는 톰슨 샘플링이 큰 보상 간격을 포함한 모든 보상 간격 크기에서 거의 최적의 회귀 스케일링을 달성할 수 있는가?
• RQ5 이번에 유도된 확산 극한은 순차적 정보 수집 과정에서 인간 학습이나 과학적 합의 형성에 대한 통찰을 어느 정도 제공하는가?

주요 결과

• 보상 간격이 $1/\text{sqrt}(n)$ 비율로 스케일링되는 약한 신호 점근적 환경에서, 연속적인 암 선택 확률을 갖는 순차적 랜덤화 실험의 표본 경로는 확률적 미분 방정식으로 정의되는 확산 극한에 약하게 수렴한다.
• 리프시츠 연속적 암 선택 확률은 약한 신호 환경에서도 여전히 사라지지 않는 회귀를 초래하며, 이는 보상 간격이 상대적으로 클 경우 비최적의 성능임을 시사한다.
• 점점 더 정보가 없는 사전 분포를 갖는 톰슨 샘플링은 특히 큰 보상 간격이 존재하는 환경에서 거의 최적의 인스턴스별 회귀 스케일링을 달성한다.
• 정보가 없는 사전 분포를 갖는 동일한 톰슨 샘플링 변형은 매우 불안정한 사후 믿음을 보이며, 이는 회귀 최적성과 믿음 안정성 사이의 상충을 시사한다.
• 확산 극한은 누적 보상과 행동 샘플링 경로에 대한 개선된 분포적 특성화를 가능하게 하여 평균 회귀 성능을 넘는 통찰을 제공한다.
• 결과적으로, 이 연구는 약한 신호 환경에서 톰슨 샘플링에 분산이 큰 사전 분포를 사용하는 것이 이론적으로 타당하다고 시사하며, 사전 분산을 고정된 큰 상수로 설정하는 경험적 권고와 일치한다.

Figure 3 : Distribution of the (scaled) regret for two-armed Thompson sampling in the undersmoothed regime (i.e., with $c=0$ ), as a function of (scaled) arm gap $\delta$ . The histograms are aggregated over 100,000 realization of the limiting stochastic differential equation.