[논문 리뷰] A Survey on Practical Applications of Multi-Armed and Contextual Bandits

Djallel Bouneffouf, Irina Rish|arXiv (Cornell University)|2019. 04. 02.

Advanced Bandit Algorithms Research참고 문헌 20인용 수 106

한 줄 요약

이 설문은 의료, 금융, 가격 책정, 추천 시스템 등에서 다중 팔 밴딧과 맥락 밴딧의 실용적 응용을 검토하고, 밴딧 방법이 실제 의사결정 및 머신러닝 워크플로에 정보를 어떻게 제공하는지 논의합니다.

ABSTRACT

In recent years, multi-armed bandit (MAB) framework has attracted a lot of attention in various applications, from recommender systems and information retrieval to healthcare and finance, due to its stellar performance combined with certain attractive properties, such as learning from less feedback. The multi-armed bandit field is currently flourishing, as novel problem settings and algorithms motivated by various practical applications are being introduced, building on top of the classical bandit problem. This article aims to provide a comprehensive review of top recent developments in multiple real-life applications of the multi-armed bandit. Specifically, we introduce a taxonomy of common MAB-based applications and summarize state-of-art for each of those domains. Furthermore, we identify important current trends and provide new perspectives pertaining to the future of this exciting and fast-growing field.

연구 동기 및 목표

• 실세계 도메인에 걸친 MAB 및 맥락 밴딧 응용의 분류 체계를 제공한다.
• 각 도메인에서 사용되는 최첨단 알고리즘과 그 이점을 요약한다.
• 밴딧 방법의 향후 연구를 위한 경향, 격차 및 해결되지 않은 문제를 식별하여 연구를 가이드한다.

제안 방법

• 표준 MAB 및 맥락 밴딧 프레임워크와 이를 실세계 환경에의 관련성을 설명한다.
• 도메인별 응용 및 대응하는 밴딧 형식(MAB 대 CMAB, 정적 대 비정적)을 검토한다.
• 주목할 만한 알고리즘 및 모델링 접근법을 강조한다(예: LINUCB, CTS, Thompson Sampling, side information를 갖춘 밴딧).
• 하이퍼파라미터 튜닝, 특징 선택, 활성 학습, RL 오케스트레이션을 포함한 머신러닝 워크플로를 밴딧으로 보강하는 방법을 논의한다.

실험 결과

연구 질문

• RQ1 MAB와 CMAB가 효과적으로 적용된 주요 실세계 도메인은 무엇인가?
• RQ2 도메인별로 가장 성공적인 밴딧 형식과 알고리즘은 무엇인가?
• RQ3 향후 밴딧 연구 및 도메인 간 전이에서의 격차와 기회는 무엇인가?
• RQ4 밴딧 방법이 하이퍼파라미터 최적화 및 활성 학습과 같은 폭넓은 머신러닝 작업을 어떻게 향상시킬 수 있는가?

주요 결과

• 실용적 MAB 및 CMAB 응용의 광범위한 분류 체계는 의료, 금융, 다이나믹 가격 책정, 추천 시스템, 영향력 확산, 정보 검색, 대화 시스템, 이상 탐지, 통신 분야를 포괄한다.
• 맥락 밴딧 및 비정상(non-stationary) 변형은 여러 도메인에서 사용되며, LINUCB, CTS, Thompson Sampling과 같은 특정 선택이 의사결정을 안내한다.
• 밴딧은 제한된 피드백과 탐색 요구가 있는 온라인 의사결정에서 이점을 제공하며, 실시간으로의 적응적 실험 및 학습에 정보를 제공한다.
• 도메인 간 전이 또는 다작업 밴딧 연구는 제한적이므로, 밴딧 설정에서의 지속 학습 및 전달 학습의 기회가 있다.
• 밴딧은 알고리즘 선택, 하이퍼파라미터 최적화(Hyperband 등), 특징 선택, 활성 학습, 클러스터링, 온라인 RL orchestration 등 머신러닝 파이프라인을 보강할 수 있다.