[논문 리뷰] Adapting multi-armed bandits policies to contextual bandits scenarios

David Cortés‐Polo|arXiv (Cornell University)|2018. 11. 11.

Advanced Bandit Algorithms Research참고 문헌 30인용 수 25

한 줄 요약

이 논문은 로지스틱 회귀를 블랙박스 오라클로 사용하여 다중 암반 밴딧(MAB) 정책—특히 Adaptive-Greedy, UCB, 그리고 톰슨 샘플링—을 이元적 보상이 있는 문맥 밴딧으로 적응시킨다. 스케일러블 부트스트래핑 및 근사 부트스트래핑 기법을 도입하여, 여러 데이터셋에서 최소한의 하이퍼파라미터 튜닝으로도 Cumulative Reward 측면에서 다른 방법들보다 ContextualAdaptiveGreedy가 뛰어난 성능을 보임을 보여준다.

ABSTRACT

This work explores adaptations of successful multi-armed bandits policies to the online contextual bandits scenario with binary rewards using binary classification algorithms such as logistic regression as black-box oracles. Some of these adaptations are achieved through bootstrapping or approximate bootstrapping, while others rely on other forms of randomness, resulting in more scalable approaches than previous works, and the ability to work with any type of classification algorithm. In particular, the Adaptive-Greedy algorithm shows a lot of promise, in many cases achieving better performance than upper confidence bound and Thompson sampling strategies, at the expense of more hyperparameters to tune.

연구 동기 및 목표

• 성공적인 다중 암반 밴딧(MAB) 정책과 2진 보상이 있는 문맥 밴딧 사이의 격차를 메우기 위해.
• 이전의 문맥 밴딧 방법들보다 계산적으로 비가역적인 문제를 피하는, 스케일러블하고 실용적인 MAB 전략의 적응을 개발하기 위해.
• 감독 학습 알고리즘이 문맥 밴딧 정책의 효과적인 블랙박스 오라클로 기능할 수 있는지 평가하기 위해.
• 실제 데이터셋 환경에서 하이퍼파라미터 튜닝, 모델 재적합 전략, 탐색 기법의 영향을 평가하기 위해.
• 실제로 큰 규모의 다중 레이블 데이터셋에서 기준선 및 문맥 무관 전략과의 성능 비교를 위해.

제안 방법

• 로지스틱 회귀를 블랙박스 오라클로 사용하여 문맥에서 암반 보상을 예측함으로써, UCB, 톰슨 샘플링, Adaptive-Greedy와 같은 MAB 정책을 문맥 밴딧으로 적응시킴.
• 부트스트래핑 및 근사 부트스트래핑을 사용하여 UCB 스타일 탐색을 위한 불확실성 추정을 수행함으로써, 전체 모델 재학습 없이도 스케일러블한 신뢰구간을 구현함.
• 스토케스틱 리샘플링을 사용하여 분류 모델 예측을 통해 톰슨 샘플링을 시뮬레이션함으로써, 최소한의 계산 오버헤드로 베이지안 스타일 탐색을 가능하게 함.
• MAB-first 기법을 사용하여 정책을 초기화함. 탐색과 이용의 균형을 이루기 위해 고정 임계값 또는 백분위수 기반 규칙을 사용함.
• 오라클에 대해 전체 모델 재적합 및 미니배치 업데이트 전략을 평가함. 예측 정확도를 유지하기 위해 매 50라운드마다 재적합 수행.
• 데이터셋 간에 경험적으로 하이퍼파라미터를 설정함: 예를 들어, 부트스트랩 방법에 대해 10회의 리샘플링, UCB에 대해 80% 신뢰구간, 그리고 에프실론-그리디 변종에 대해 감쇠율 설정.

실험 결과

연구 질문

• RQ1 기존의 다중 암반 밴딧 정책이 분류 오라클을 사용하여 이원적 보상이 있는 문맥 밴딧에 효과적으로 적응될 수 있는가?
• RQ2 부트스트래핑 및 근사 부트스트래핑 기법은 전통적인 문맥 밴딧 알고리즘에 비해 확장성과 성능 측면에서 어떻게 비교되는가?
• RQ3 다양한 다중 레이블 데이터셋에서 ContextualAdaptiveGreedy 정책이 누적 보상 측면에서 표준 기준선 및 다른 MAB 전략보다 뛰어난 성능을 보일 수 있는가?
• RQ4 하이퍼파라미터 튜닝 및 모델 재적합 전략(전체 vs. 미니배치)이 정책 성능에 미치는 영향은 무엇인가?
• RQ5 적응형 그리디 정책에 통합된 활성 학습 히우리스틱이 성능 향상에 기여하는가?

주요 결과

• ContextualAdaptiveGreedy는 평가된 모든 데이터셋에서 가장 높은 누적 보상을 기록했으며, UCB, 톰슨 샘플링, 에프실론-그리디 기준선을 모두 앞서갔다.
• Adaptive-Greedy 정책는 UCB 및 톰슨 샘플링보다 더 적은 하이퍼파라미터를 요구했지만, 정확한 임계값 설정이 중요했다.
• 부트스트랩 및 근사 부트스트랩 기법을 통해 UCB 및 톰슨 샘플링의 스케일러블한 적응이 가능해졌으며, LinUCB와 같은 방법들처럼 계산적으로 비가역적인 문제를 피할 수 있었다.
• 매 50라운드마다 전체 모델 재적합은 미니배치 업데이트보다 뚜렷한 성능 향상을 보였으며, 후자는 문맥 무관 최적 암반 선택 성능을 넘어설 수 없었다.
• ContextualAdaptiveGreedy에 활성 학습 히우리스틱을 통합했지만, 성능 향상은 측정되지 않았으며, 이는 고정 임계값이 동적 백분위수보다 우수함을 시사한다.
• 고정 하이퍼파라미터(예: a=3, b=7, m=2)를 사용한 MAB-first 기법이 성능에 큰 영향을 미쳤으며, 실험에서 완전 최적화되지 않았음에도 불구하고 튜닝이 핵심임을 시사한다.