[논문 리뷰] Garbage In, Reward Out: Bootstrapping Exploration in Multi-Armed Bandits

Branislav Kveton, Csaba Szepesvári외 4명|arXiv (Cornell University)|2018. 11. 13.

Advanced Bandit Algorithms Research참고 문헌 30인용 수 13

한 줄 요약

이 논문은 비모수적 부트스트래핑과 특별히 설계된 가짜 보상값을 사용하여 효과적인 탐색을 가능하게 하는 다손대 기회장치 알고리즘인 Giro를 소개한다. 이는 베르누이 기회장치에서 $O(K\Delta^{-1}\log n)$의 손실 한계를 증명하여, 비모수적 부트스트래핑을 히우리스틱적 응용을 넘어서 원칙적인 탐색 전략으로 사용하는 데 있어 첫 번째 공식적 근거를 확립한다.

ABSTRACT

We propose a bandit algorithm that explores by randomizing its history of rewards. Specifically, it pulls the arm with the highest mean reward in a non-parametric bootstrap sample of its history with pseudo rewards. We design the pseudo rewards such that the bootstrap mean is optimistic with a sufficiently high probability. We call our algorithm Giro, which stands for garbage in, reward out. We analyze Giro in a Bernoulli bandit and derive a $O(K Δ^{-1} \log n)$ bound on its $n$-round regret, where $Δ$ is the difference in the expected rewards of the optimal and the best suboptimal arms, and $K$ is the number of arms. The main advantage of our exploration design is that it easily generalizes to structured problems. To show this, we propose contextual Giro with an arbitrary reward generalization model. We evaluate Giro and its contextual variant on multiple synthetic and real-world problems, and observe that it performs well.

연구 동기 및 목표

• 신뢰집합이나 사후분포에 의존하지 않는 데이터 기반의 조정 가능한 탐색 전략을 다손대 및 컨텍스트 기회장치 문제에 대해 개발한다.
• 비모수적 부트스트래핑이 기회장치 문제에서 탐색 전략으로서 타당하고 효과적인 방법임을 공식적으로 정당화한다.
• 선형 및 컨텍스트 기회장치와 같은 구조화된 문제로 쉽게 확장 가능한 일반적인 프레임워크를 설계한다.
• 제안된 알고리즘에 대한 이론적 손실 한계를 제공하여 통계적 효율성을 보장한다.
• 합성 및 실세계 데이터셋에서 Giro와 그 컨텍스트 버전을 경험적으로 검증하여 뛰어난 성능을 입증한다.

제안 방법

• Giro는 에이전트의 이전 보상 데이터에서 비모수적 부트스트래핑 표본을 생성하며, 부트스트래핑 평균의 낙관적 성향을 보장하기 위해 가짜 보상값을 포함한다.
• 각 암 선택 후 가짜 보상값을 극단적인 값(예: 1 또는 0)으로 할당하여, 부트스트래핑 평균이 높은 확률로 낙관적으로 향하도록 유도한다.
• 알고리즘은 부트스트래핑 표본 내에서 평균 보상값이 가장 높은 암을 선택함으로써 탐색과 이용의 균형을 이룬다.
• 이론적 분석을 통해 부트스트래핑 평균이 높은 확률로 낙관적임을 보여주며, 이는 날카운 손실 한계를 도출하는 데 핵심적이다.
• 컨텍스트 기반 보상 모델을 통합함으로써 이 방법은 컨텍스트 기반 기회장치로 자연스럽게 일반화된다.
• 완전한 재표본 추출을 피하기 위해 이중 분포를 사용한 효율적인 구현 방식을 베르누이 기회장치에 적용한다.

실험 결과

연구 질문

• RQ1 철저히 설계된 가짜 보상값을 사용한 비모수적 부트스트래핑이 다손대 기회장치 문제에서 이론적으로 타당하고 실용적인 탐색 전략이 될 수 있는가?
• RQ2 이러한 부트스트래핑 기반 알고리즘의 손실 성능는 어떠한가? 근사 최적의 손실 한계를 달성할 수 있는가?
• RQ3 이 알고리즘은 선형 및 컨텍스트 기반 기회장치와 같은 구조화된 문제로 어떻게 일반화되는가?
• RQ4 기존의 탐색 전략인 에프실론-그리디, OFU, 톰슨 샘플링에 비해 실세계에서 성능이 뛰어나다고 할 수 있는가?
• RQ5 후행 분포나 신뢰집합에 의존하지 않고, 부트스트래핑을 통한 랜덤라이제이션만으로도 효과적인 탐색을 유도할 수 있는가?

주요 결과

• Giro는 K-손대 베르누이 기회장치에서 $O(K\Delta^{-1}\log n)$의 손실 한계를 달성하며, 로그 인자 외에는 최적의 속도를 그대로 유지한다.
• 가짜 보상값의 설계는 부트스트래핑 평균이 높은 확률로 낙관적임을 보장하며, 이는 손실 분석의 핵심 요소이다.
• 이론적 분석을 통해 후행 분포 샘플링 외에도 표본 분포의 랜덤라이제이션이 효과적인 탐색을 유도할 수 있음을 밝혀냈다.
• 경험적 평가 결과, Giro는 합성 및 실세계 데이터셋(예: Adult 및 Covertype 데이터셋 포함) 모두에서 경쟁적인 성능을 보였다.
• 실세계 환경에서는 Giro가 신경망 기반 모델보다 뛰어난 성능을 보였으며, 이는 복잡한 모델에서의 열악한 성능이 탐색 부족 때문이 아니라 일반화 문제 때문임을 시사한다.
• 알고리즘은 컨텍스트 기반 기회장치로 자연스럽게 일반화되며, 보상 함수가 비선형일 경우에도 성능이 뛰어나다.