[논문 리뷰] Online Multi-Armed Bandits with Adaptive Inference

Maria Dimakopoulou, Zhimei Ren외 1명|arXiv (Cornell University)|2021. 02. 25.

Advanced Bandit Algorithms Research인용 수 14

한 줄 요약

이 논문은 적응형 데이터 수집으로 인한 편향을 보정하기 위해 이중 강건 추정기(doubly robust estimator)를 사용해 보상(reward)을 적응적으로 재가중하는 방식으로 추론 정확도를 향상시키는 새로운 온라인 다수의 손잡이 밴딧(algorithm)인 이중 적응형 톰슨 샘플링(DATS)을 제안한다. DATS는 UCB와 표준 톰슨 샘플링에 비해 손실(regret)과 표본 복잡도에서 뛰어난 경험적 성능을 보이며, 로그 인자까지의 최소 최악의 경우 손실 경계를 유지한다.

ABSTRACT

During online decision making in Multi-Armed Bandits (MAB), one needs to conduct inference on the true mean reward of each arm based on data collected so far at each step. However, since the arms are adaptively selected--thereby yielding non-iid data--conducting inference accurately is not straightforward. In particular, sample averaging, which is used in the family of UCB and Thompson sampling (TS) algorithms, does not provide a good choice as it suffers from bias and a lack of good statistical properties (e.g. asymptotic normality). Our thesis in this paper is that more sophisticated inference schemes that take into account the adaptive nature of the sequentially collected data can unlock further performance gains, even though both UCB and TS type algorithms are optimal in the worst case. In particular, we propose a variant of TS-style algorithms--which we call doubly adaptive TS--that leverages recent advances in causal inference and adaptively reweights the terms of a doubly robust estimator on the true mean reward of each arm. Through 20 synthetic domain experiments and a semi-synthetic experiment based on data from an A/B test of a web service, we demonstrate that using an adaptive inferential scheme (while still retaining the exploration efficacy of TS) provides clear benefits in online decision making: the proposed DATS algorithm has superior empirical performance to existing baselines (UCB and TS) in terms of regret and sample complexity in identifying the best arm. In addition, we also provide a finite-time regret bound of doubly adaptive TS that matches (up to log factors) those of UCB and TS algorithms, thereby establishing that its improved practical benefits do not come at the expense of worst-case suboptimality.

연구 동기 및 목표

• 온라인 다수의 손잡이 밴딧에서 적응형 데이터 수집으로 인한 평균 보상 추정의 편향을 해결하기 위해.
• 최악의 이론적 보장을 훼손하지 않으면서 손실과 표본 복잡도에서 경험적 성능을 향상시키기 위해.
• 원인 인과 추론에서의 최근 진전을 온라인 의사결정 알고리즘에 통합하여 더 나은 통계적 추론을 가능하게 하기 위해.
• 적응적 샘플링 조건 하에서 추정 정확도를 향상시키면서도 탐색의 효율성을 유지하는 방법을 개발하기 위해.

제안 방법

• 관측된 보상을 적응적으로 재가중하는 방식을 통합한 톰슨 샘플링의 변종인 이중 적응형 톰슨 샘플링(DATS)을 제안한다.
• 결과 회귀와 역확률가중법을 조합한 이중 강건 추정기(doubly robust estimator)를 사용하여 적응적 샘플링으로 인한 편향을 감소시킨다.
• 오프라인 인과 추론 추정기(예: Luedtke & van der Laan, 2016; Hadad et al., 2019)를 온라인 밴딧 환경에 적응시킨다.
• 선택 확률과 결과 모델에 기반해 각 손잡이의 보상에 대한 影향을 동적으로 조정하는 재가중 전략을 구현한다.
• 선택 편향을 보정하면서도 탐색은 톰슨 샘플링 방식을 유지한다.
• UCB와 TS에 비해 로그 인자까지 동일한 유한 시간 손실 경계를 유도하며, 최악의 경우 최적성 보장을 확보한다.

실험 결과

연구 질문

• RQ1 적응적 추론 방법은 표준 UCB와 톰슨 샘플링을 초월해 온라인 다수의 손잡이 밴딧에서 경험적 성능을 향상시킬 수 있는가?
• RQ2 적응적으로 수집된 데이터에서 실시간 보상 추정에서의 편향은 어떻게 보정할 수 있는가?
• RQ3 이중 강건 추정은 온라인 밴딧 환경에 적응시켜 추론 정확도를 향상시킬 수 있는가?
• RQ4 향상된 추론은 낮은 손실과 더 빠른 최적 손잡이 식별을 이끌어낼 수 있는가?
• RQ5 최소 최악의 경우 손실 최적성의 훼손 없이 더 나은 경험적 성능를 달성할 수 있는가?

주요 결과

• 20개의 시뮬레이션 실험에서 DATS는 UCB와 표준 톰슨 샘플링에 비해 손실이 유의미하게 낮고 최적 손잡이 식별에 필요한 표본 수가 빠르게 감소하는 것으로 나타났다.
• 실제 웹 서비스 데이터를 활용한 반-시뮬레이션 A/B 테스트에서 DATS는 손실과 표본 효율성 양면에서 기준 모델들을 능가했다.
• DATS의 유한 시간 손실 경계는 UCB와 톰슨 샘플링의 최적 경계와 로그 인자까지 동일하다.
• 알고리즘은 문제에 의존하는 손실 경계 $O\left(\frac{\log T}{\Delta}\right)$ 를 확률적으로 확보한다.
• 일반 조건 하에서도 강건성을 입증하는 고확률 손실 경계 $O\left(\sqrt{T \log T}\right)$ 가 확립되었다.
• 이론적 분석은 향상된 경험적 성능가 최악의 경우 비최적성의 비용을 치르지 않음을 확인한다.