[논문 리뷰] A Contextual Bandit Bake-off

Alberto Bietti, Alekh Agarwal외 1명|arXiv (Cornell University)|2018. 02. 12.

Advanced Bandit Algorithms Research참고 문헌 35인용 수 53

한 줄 요약

대규모의 실제 맥락 밴딧 알고리즘에 대한 경험적 평가로, 감독 데이터셋을 사용하여 감독 학습 오라클에 대한 감소를 비교하고, RegCB, Greedy, Cover 변형이 다양한 설정에서 최상의 성능을 보임.

ABSTRACT

Contextual bandit algorithms are essential for solving many real-world interactive machine learning problems. Despite multiple recent successes on statistically and computationally efficient methods, the practical behavior of these algorithms is still poorly understood. We leverage the availability of large numbers of supervised learning datasets to empirically evaluate contextual bandit algorithms, focusing on practical methods that learn by relying on optimization oracles from supervised learning. We find that a recent method (Foster et al., 2018) using optimism under uncertainty works the best overall. A surprisingly close second is a simple greedy baseline that only explores implicitly through the diversity of contexts, followed by a variant of Online Cover (Agarwal et al., 2014) which tends to be more conservative but robust to problem specification by design. Along the way, we also evaluate various components of contextual bandit algorithm design such as loss estimators. Overall, this is a thorough study and review of contextual bandit methodology.

연구 동기 및 목표

• 감독 학습에서 얻은 최적화 오라클에 의존하는 맥락 밴딧 알고리즘의 실용적 성능 평가.
• 현실적이고 고차원적인 환경에서 손실 추정기와 오프폴리시 학습으로의 감소를 비교한다.
• 실제 적용에 가장 강건하고 실용적인 방법을 식별한다.
• 알고리즘 설계 선택과 평가 방법론에 대해 실무자에게 지침을 제공한다.

제안 방법

• 선택되지 않은 행동의 손실을 숨김으로써 대규모 감독된 비용-민감 및 다중 클래스 데이터세트 코퍼스에서 맥락 밴딧을 시뮬레이션한다.
• 온라인 오라클(CSC 및 회귀)을 통한 최적화와 함께 손실 추정기(IPS, DR, IWR)의 온라인 구현을 평가한다.
• RegCB(확신 기반), Cover-NU 및 Cover, epsilon-탐욕 변형, Bag/Online BTS, Greedy 등 여러 알고리즘을 구현하고 비교한다.
• 적응적이고 정규화된 중요도-가중 경사 방법을 사용하는 온라인 업데이트를 위해 Vowpal Wabbit를 사용한다.
• 손실 인코딩 선택 및 오프폴리시 학습으로의 대체 감소를 탐구한다.
• 다섯 개 이상 행동이 있는 다양한 데이터세트에서 이러한 방법들의 수행을 분석한다.

실험 결과

연구 질문

• RQ1 대규모이고 다양한 데이터셋 모음에서 어떤 실용적 맥 context 밴딧 알고리즘이 가장 좋은 전체 성능을 달성하는가?
• RQ2 다양한 손실 추정기와 감독 학습으로의 감소가 실제로 탐색과 후회를 어떻게 영향을 미치는가?
• RQ3 손실 인코딩과 감소 메커니즘이 맥락 밴딧의 실증적 효과성에서 어떤 역할을 하는가?
• RQ4 문제 명세와 데이터셋 특성에 강건한 방법은 무엇이며, 실용적 트레이드오프는 무엇인가?

주요 결과

• RegCB는 많은 실험 조건에서 일반적으로 최상의 성능을 보인다.
• 단순한 Greedy 기준선은 실제로 많은 탐색 방법과 비슷하거나 더 잘 작동하는 경우가 많다.
• Online Cover의 변형(Cover-NU)은 대다수의 데이터세트에서 경쟁력이 있으며 설계상 강건하다.
• 손실 인코딩 선택과 감소 기법(예: 중요도 가중 회귀)이 성능과 분산에 상당한 영향을 미친다.
• 이 방법들을 배치한 로그는 오프폴리시 평가에 적합하지 않을 수 있어 실용적 배포 시 고려사항을 강조한다.
• 이 연구는 그리디 전략을 이해하고 탐색을 위해 쉬운 데이터세트를 활용하는 이론적 주목이 필요하다고 시사한다.