[논문 리뷰] Strategy-Driven Limit Theorems Associated Bandit Problems

Zengjing Chen, Shui Feng외 1명|arXiv (Cornell University)|2022. 04. 09.

Advanced Bandit Algorithms Research인용 수 4

한 줄 요약

이 논문은 두 개의 팔을 가진 밴디트 문제에 대해 전략에 기반한 극한 정리들을 도입하며, 샘플링 전략에 명시적으로 의존하는 대수법칙, 대 deviations 원리, 중심극한정리들을 수립한다. 핵심 기여는 전략에 따라 달라지는 극한 분포—비정규이고 집합에 의존하는 분포—를 규명한 것으로, 이는 학습 구조를 드러내고 최대/최소 보상 추정 및 패론도의 역설 회피를 가능하게 한다.

ABSTRACT

Motivated by the study of asymptotic behaviour of the bandit problems, we obtain several strategy-driven limit theorems including the law of large numbers, the large deviation principle, and the central limit theorem. Different from the classical limit theorems, we develop sampling strategy-driven limit theorems that generate the maximum or minimum average reward. The law of large numbers identifies all possible limits that are achievable under various strategies. The large deviation principle provides the maximum decay probabilities for deviations from the limiting domain. To describe the fluctuations around averages, we obtain strategy-driven central limit theorems under optimal strategies. The limits in these theorem are identified explicitly, and depend heavily on the structure of the events or the integrating functions and strategies. This demonstrates the key signature of the learning structure. Our results can be used to estimate the maximal (minimal) rewards, and to identify the conditions of avoiding the Parrondo's paradox in the two-armed bandit problem. It also lays the theoretical foundation for statistical inference in determining the arm that offers the higher mean reward.

연구 동기 및 목표

• 두 개의 팔을 가진 밴디트 문제에서 샘플링 전략의 점근적 행동을 기술하는 전략 기반 극한 정리 프레임워크를 개발하기 위해.
• 다양한 샘플링 전략 하에서 평균 보상의 모든 도달 가능한 극한을 규명하여 고전적 대수법칙을 확장하기 위해.
• 최적의 보상 극한에서의 이격 확률의 최대 감쇠 비율을 정량화하는 대 deviations 원리(대 deviations 원리)를 제공하기 위해.
• 전략의 구조와 통합 함수에 따라 달라지는 비정규 극한 분포를 갖는 전략 기반 중심극한정리를 유도하기 위해.
• 이 프레임워크를 사용하여 순차적 샘플링에서 알려지지 않은 팔의 평균을 갖는 최대/최소 기대 보상을 추정하고, 패론도의 역설을 피할 조건을 규명하기 위해.

제안 방법

• 샘플링 전략 의존성을 통합하여 로빈스의 결과를 일반화한 전략 기반 약한 및 강한 대수법칙을 제안한다.
• 비율 함수 $ I(x) = \inf_{\alpha \in [0,1]} I_\alpha(x) $ 를 갖는 대 deviations 원리를 수립하며, 여기서 $ I_\alpha(x) $ 는 전략 $ \theta^\alpha $ 하에서의 모멘트 생성 함수의 혼합으로 유도된다.
• 극한 분포가 전략과 보상 구조에 따라 명시적으로 비정규이고 집합에 의존하는 전략 기반 중심극한정리를 도입한다.
• 크라머의 정리와 수축 원리를 사용하여 전략 시퀀스 $ \theta^\alpha $ 하에서 보상의 경험 측도로부터 대 deviations 원리의 비율 함수를 도출한다.
• 각 팔에 대한 끌기 비율의 장기적 비율을 제어하는 전략의 가족 $ \theta^\alpha $ 를 구성하여 전략 의존적 극한의 유도를 가능하게 한다.
• 비선형 확률과 레전드르-펜켈 변환을 사용하여 비율 함수 $ \Lambda^* $ 를 특성화하며, 모멘트 생성 함수와 대 deviations 비율 간의 연결을 맺는다.

실험 결과

연구 질문

• RQ1 다양한 샘플링 전략 하에서 두 개의 팔을 가진 밴디트 문제에서 평균 보상의 가능한 모든 극한 집합은 무엇인가?
• RQ2 어떤 전략 하에서도 최적의 보상 극한에서의 이격 확률의 최대 감쇠 비율은 무엇인가?
• RQ3 최적의 샘플링 전략 하에서 평균 보상 주변의 변동은 어떻게 행동하는가? 그리고 극한 분포의 형태는 무엇인가?
• RQ4 이 프레임워크를 사용하여 알려지지 않은 팔의 평균을 갖는 순차적 샘플링에서 최대 또는 최소 기대 보상을 추정할 수 있는가?
• RQ5 이 전략 기반 접근을 사용하여 두 개의 팔을 가진 밴디트 설정에서 패론도의 역설을 피할 수 있는 조건은 무엇인가?

주요 결과

• 전략 기반 대수법칙은 평균 보상의 모든 가능한 극한이 경험 평균의 극한으로서 식별되며, 이는 전략과 기본 보상 분포에 의해 명시적으로 결정된다.
• 대 deviations 원리는 비율 함수 $ I(x) = \inf_{\alpha \in [0,1]} I_\alpha(x) $ 를 제공하며, 여기서 $ I_\alpha(x) $ 는 전략 $ \theta^\alpha $ 하에서의 모멘트 생성 함수의 혼합으로 유도되며, 최적 평균에서 감쇠 비율이 최소화됨을 보여준다.
• 전략 기반 중심극한정리는 일반적으로 비정규이며 전략과 통합 함수의 구조에 따라 달라지는 극한 분포를 도출한다. 명시적 형태는 $ I_\alpha(x) = \inf\{ \alpha \Lambda^*_{\mu_L}(y) + (1-\alpha) \Lambda^*_{\mu_R}(z) : \alpha y + (1-\alpha) z = x \} $ 이다.
• 이 프레임워크를 통해 극한 극한을 달성하는 최적 전략을 규명함으로써 최대 및 최소 기대 보상을 추정할 수 있다.
• 결과는 최적 샘플링 전략 하에서 보다 높은 평균 보상을 갖는 팔을 식별하기 위한 가설 검정에서 통계적 추론의 이론적 근거를 제공한다.
• 분석 결과, 전략에 따라 달라지는 극한과 비율 함수를 철저히 분석할 경우 패론도의 역설을 피할 수 있음을 보여주며, 특히 최적 전략이 두 개의 지속적인 구성 요소에서 역설적인 승리를 유도하지 않는 경우에 특히 그렇다.