[논문 리뷰] The Finite-Horizon Two-Armed Bandit Problem with Binary Responses: A Multidisciplinary Survey of the History, State of the Art, and Myths

Peter Jacko|arXiv (Cornell University)|2019. 06. 20.

Advanced Bandit Algorithms Research참고 문헌 64인용 수 9

한 줄 요약

이 논문은 유한한 수명을 가진 두 팔 밴딧 설계를 이원 반응에 대해 마코프 결정 과정 프레임워크, 베타 분포를 통한 베이지안 업데이트, 그리고 줄리아에서의 정확한 동적 프로그래밍 계산을 사용하여 통합하고 평가한다. 동적 프로그래밍이 일반적으로 믿는 것보다 훨씬 더 큰 수명에 대해서도 실행 가능하다는 것을 보여주며, 색인 규칙에 관한 여섯 가지 오해를 해소한다. 간단한 설계 방식인 BLFF+BM이 종종 복잡한 히وري스틱보다 더 우수한 성능을 보임을 입증한다.

ABSTRACT

In this paper we consider the two-armed bandit problem, which often naturally appears per se or as a subproblem in some multi-armed generalizations, and serves as a starting point for introducing additional problem features. The consideration of binary responses is motivated by its widespread applicability and by being one of the most studied settings. We focus on the undiscounted finite-horizon objective, which is the most relevant in many applications. We make an attempt to unify the terminology as this is different across disciplines that have considered this problem, and present a unified model cast in the Markov decision process framework, with subject responses modelled using the Bernoulli distribution, and the corresponding Beta distribution for Bayesian updating. We give an extensive account of the history and state of the art of approaches from several disciplines, including design of experiments, Bayesian decision theory, naive designs, reinforcement learning, biostatistics, and combination designs. We evaluate these designs, together with a few newly proposed, accurately computationally (using a newly written package in Julia programming language by the author) in order to compare their performance. We show that conclusions are different for moderate horizons (typical in practice) than for small horizons (typical in academic literature reporting computational results). We further list and clarify a number of myths about this problem, e.g., we show that, computationally, much larger problems can be designed to Bayes-optimality than what is commonly believed.

연구 동기 및 목표

• 설계 실험, 베이지안 의사결정 이론, 생물통계학, 강화 학습 등 다양한 분야 간의 용어와 모델링 접근 방식을 통합하여, 이원 반응을 가진 유한 수명 두 팔 밴딧 문제에 집중한다.
• 베르누이 반응과 공액 베타 사전 분포를 사용한 표준화된 마코프 결정 과정 모델을 제시한다.
• 모의 실험을 사용하지 않고 정확한 동적 프로그래밍 계산을 통해 기존 및 신규 제안된 설계의 성능을 평가한다.
• 유한 수명 밴딧 문제에서 색인 규칙, 계산 한계, 최적성에 관한 널리 퍼진 오해(오해)를 도전하고 명확히 한다.
• 동적 프로그래밍이 일반적으로 믿는 것보다 훨씬 더 큰 수명에 대해서도 계산적으로 실행 가능하다는 것을 입증한다.

제안 방법

• 성공 확률에 대한 사후 베타 분포로 정의된 상태를 갖는 마코프 결정 과정(MDP) 프레임워크 내에서 두 팔 밴딧 문제를 수식화한다.
• 공액 사전 분포(Beta)와 가능도(베르누이)를 사용하여 각 피험자의 이원 반응 이후 정확한 베이지안 업데이트를 가능하게 한다.
• 모의 실험에 의한 편향을 피하기 위해 최적 정책을 정확하게 계산하기 위해 역방향 재귀를 구현한다.
• 유한 수명에 대해 베이즈 최적 정책을 정확하게 계산하기 위한 맞춤형 줄리아 패키지를 개발한다.
• Gittins, UCB, 민첩성 기반, 반응 적응형 규칙 등 12가지 설계를 다양한 성공 확률을 가진 12개의 표준화된 시나리오에서 평가한다.
• 정확한 동적 프로그래밍을 기준으로 하여 평균 회귀(최적 대비 실수로 인한 손실 성공 수)를 사용해 설계를 비교한다.

실험 결과

연구 질문

• RQ1 다양한 설계 전략—단순한, 베이지안 기반, 색인 기반, 적응형—이 유한 수명 동안 평균 회귀 측면에서 어떻게 성능을 내는가?
• RQ2 이원 반응을 가진 유한 수명 두 팔 밴딧 문제에서 동적 프로그래밍은 얼마나 계산적으로 실행 가능할 수 있는가?
• RQ3 무엇보다도 이론적으로 무한 수명 설정에서는 보장되지만, 유한 수명 설정에서는 하위최적 성능을 보이는 UCB 및 Gittins 히وري스틱은 왜 성능이 떨어지는가?
• RQ4 동적 프로그래밍과 색인 규칙의 한계에 관한 일반적으로 공유되는 믿음은 정확한가, 아니면 오해인가?
• RQ5 더 복잡하고 이론적으로 설계된 규칙보다도 더 단순한 설계 방식인 BLFF+BM이 실질적인 유한 수명 시나리오에서 더 뛰어난 성능을 낼 수 있는가?

주요 결과

• 동적 프로그래밍은 일반적으로 믿는 것보다 훨씬 더 큰 수명에 대해서도 계산적으로 실행 가능하다—최적 정책은 T=1200까지 정확하게 계산되었으며, 이는 비실행 가능성에 대한 오해를 뒤엎는다.
• BLFF+BM 및 BLFF+BMSF 설계는 UCB 및 Gittins 기반 규칙을 포함한 많은 더 복잡하고 널리 연구된 히وري스틱보다 여러 시나리오에서 더 뛰어난 성능을 보였다.
• 2UCB 및 1UCB 설계는 최적 정책 대비 평균 회귀가 5배에서 10배 높게 나타나, 이는 이들이 유한 수명 설정에서 near-optimal가 아니라는 것을 시사한다.
• 이론적 경계를 초월해 UCB 계수를 조정(예: 0.18로)하면 평균 회귀가 절반으로 줄어들지만, 여전히 상당히 하위최적 성능을 보인다.
• 빈도주의 평균 회귀는 T가 증가함에 따라 반드시 증가하지는 않으며, 일부 경우에서는 감소하거나 비감소하는 경향을 보이며, 이는 유한 설정에서 Lai-Robbins의 log T 하한 경계와 모순된다.
• Gittins 색인 규칙은 할인되지 않은 유한 수명 설정에서 완전한 학습을 이끌어내지만, 이는 이 규칙이 불완전한 학습을 유도한다는 오해와는 정반대이다—이는 할인된 경우에만 성립한다.