[논문 리뷰] Bootstrapping Upper Confidence Bound

Botao Hao, Yasin Abbasi Yadkori외 2명|arXiv (Cornell University)|2019. 01. 01.

Advanced Bandit Algorithms Research인용 수 6

한 줄 요약

이 논문은 다중보정과 승수 부트스트랩을 사용한 비모수적, 데이터에 의존하는 상위 신뢰구간(UCB) 알고리즘을 제안하여 온라인 의사결정에서 과도한 탐색을 줄인다. 서브가우시안성보다 더 약한 尾尾 조건 하에서도 더 날카운 감소한 리그레트 경계를 달성하며, 기준선 대비 다중보상 및 선형 밴딧 문제에서 뚜렷한 리그레트 감소를 보여준다.

ABSTRACT

Upper Confidence Bound (UCB) method is arguably the most celebrated one used in online decision making with partial information feedback. Existing techniques for constructing confidence bounds are typically built upon various concentration inequalities, which thus lead to over-exploration. In this paper, we propose a non-parametric and data-dependent UCB algorithm based on the multiplier bootstrap. To improve its finite sample performance, we further incorporate second-order correction into the above construction. In theory, we derive both problem-dependent and problem-independent regret bounds for multi-armed bandits under a much weaker tail assumption than the standard sub-Gaussianity. Numerical results demonstrate significant regret reductions by our method, in comparison with several baselines in a range of multi-armed and linear bandit problems.

연구 동기 및 목표

• 농도 불확실성 불확실성에 기인한 보수적인 신뢰구간 추정에 기인한 UCB 방법의 과도한 탐색 문제를 해결하기 위해.
• 관측된 데이터 분포에 적응하는 데이터에 의존하는 비모수적 UCB 접근법을 개발하기 위해.
• 유한 표본 성능 향상을 위해 신뢰구간 추정에서 두 번째 차수 보정을 통합하기 위해.
• 문제 의존적 및 문제 독립적 설정 모두에서 서브가우시안성보다 더 약한 꼬리 조건 하에 리그레트 경계를 수립하기 위해.
• 다양한 다중보상 및 선형 밴딧 환경에서 리그레트 감소 측면에서 제안된 방법의 우수성을 실증적으로 검증하기 위해.

제안 방법

• 이 방법은 승수 부트스트랩을 활용해 데이터에 의존하는 신뢰구간을 구성하며, 모수적 가정 대신 재표본 추론을 사용한다.
• 부트스트랩 기반 신뢰구간의 정밀도를 향상시키기 위해 두 번째 차수 보정을 통합한다.
• 알고리즘은 부트스트랩 분포에서 유도된 상위 신뢰구간에 기반해 행동을 선택하는 UCB 프레임워크 내에서 작동한다.
• 농도 불확실성 불확실성에 의존하는 대신, 경험적 분포 성질을 활용해 더 날카운 경계를 확보한다.
• 이론적 분석을 통해 서브가우시안성보다 더 약한 꼬리 조건 하에 리그레트 경계를 도출하며, 적용 범위를 넓힌다.
• 이 방법은 다중보상 밴딧 및 선형 밴딧 설정 모두에 적용 가능하며, 일관된 성능 향상을 보인다.

실험 결과

연구 질문

• RQ1 비모수적, 데이터에 의존하는 신뢰구간 구성 방식이 기존 UCB 방법보다 리그레트 측면에서 뛰어나게 성능을 발휘할 수 있는가?
• RQ2 제안된 부트스트랩 기반 UCB 방법은 서브가우시안성보다 더 약한 꼬리 조건 하에서 어떻게 성능을 발휘하는가?
• RQ3 두 번째 차수 보정은 유한 표본 리그레트 성능 향상에 어느 정도 기여하는가?
• RQ4 이 방법은 다중보상 및 선형 밴딧 문제에서 표준 UCB 및 다른 기준선 대비 더 나은 리그레트 감소를 달성하는가?
• RQ5 최소한의 모멘트 조건 하에서 제안된 방법의 이론적 리그레트 경계는 무엇인가?

주요 결과

• 제안된 방법은 다중보상 및 선형 밴딧 문제에서 여러 기준선 UCB 알고리즘 대비 뚜렷한 리그레트 감소를 달성한다.
• 이론적 분석을 통해 서브가우시안성보다 더 약한 꼬리 조건 하에 유효한 리그레트 경계를 수립하며, 적용 범위가 넓어진다.
• 승수 부트스트랩을 통한 데이터에 의존하는 신뢰구간은 농도 불확실성 불확실성 기반 접근보다 과도한 탐색을 줄인다.
• 두 번째 차수 보정은 특히 소표본 영역에서의 성능 향상에 상당한 기여를 한다.
• 실증 결과는 다양한 밴딧 환경에서 일관된 성능 향상을 확인하며, 강건성과 실용적 유용성을 입증한다.
• 비서브가우시안 노이즈 조건 하에서도 강력한 이론적 보장을 유지하면서 실용적 리그레트를 개선한다.