[논문 리뷰] A Practical Method for Solving Contextual Bandit Problems Using Decision Trees

Adam N. Elmachtoub, Ryan McNellis외 2명|arXiv (Cornell University)|2017. 06. 14.

Advanced Bandit Algorithms Research참고 문헌 22인용 수 20

한 줄 요약

이 논문은 결정 트리로 문맥-보상 관계를 모델링하고 부트스트래핑을 사용해 탐색을 안내함으로써 수동으로 조정할 필요가 없는 실용적인 컨텍스트 밴딧 알고리즘인 TreeBootstrap을 제안한다. 다양한 시뮬레이션 및 실세계 데이터셋에서 경쟁적인 성능을 달성하며, 선형 모델이 비선형 관계나 특징 공학의 부족으로 실패할 때 특히 뛰어난 성능을 보인다.

ABSTRACT

Many efficient algorithms with strong theoretical guarantees have been proposed for the contextual multi-armed bandit problem. However, applying these algorithms in practice can be difficult because they require domain expertise to build appropriate features and to tune their parameters. We propose a new method for the contextual bandit problem that is simple, practical, and can be applied with little or no domain expertise. Our algorithm relies on decision trees to model the context-reward relationship. Decision trees are non-parametric, interpretable, and work well without hand-crafted features. To guide the exploration-exploitation trade-off, we use a bootstrapping approach which abstracts Thompson sampling to non-Bayesian settings. We also discuss several computational heuristics and demonstrate the performance of our method on several datasets.

연구 동기 및 목표

• 도메인 전문 지식과 특징 공학이 제한된 실세계 환경에서 컨텍스트 밴딧 알고리즘을 적용하는 데 발생하는 실용적 과제를 해결하기 위해.
• 기존 알고리즘에서 흔히 사용되는 수동 조정이 필요한 탐색 파ram터의 필요성을 제거하기 위해.
• 해석 가능하고 비모수적이며, 데이터 변환이나 보상 구조에 대한 사전 가정 없이도 효과적인 방법을 개발하기 위해.
• 선형 모델이 성능을 떨어뜨리는 비선형, 이진 보상 문제에서 성능을 향상시키기 위해.
• 최소한의 설정으로 실시간 개인화 추천 시스템에 쉽게 구현 가능한 강력한 솔루션을 제공하기 위해.

제안 방법

• 문맥-보상 관계를 모델링하기 위해 기저 학습기로 결정 트리를 사용하여 비모수적이고 해석 가능하며 특징 공학이 필요 없는 학습을 가능하게 한다.
• 부트스트래핑 기반의 탐색 전략을 적용하여 베이지안 설정이 아닌 환경에서도 톰슨 샘플링과 유사한 탐색을 구현함으로써 탐색 파ram터 조정이 필요 없도록 한다.
• 이전에 학습된 트리를 재사용하고 관련 부분 집합에 대해서만 재학습을 제한함으로써 트리 학습 속도를 향상시키는 계산 히우리스틱을 적용한다.
• 이진 보상을 모델링하기 위해 정확한 예측를 보상 1로, 잘못된 예측를 0으로 간주하여 표준 분류 데이터셋을 밴딧 평가에 적합하게 변환한다.
• 누적 누적 손실을 최적 성능 대비로 계산하기 위해 오프라인 결정 트리를 성능 기준으로 사용한다.
• 선형 및 로지스틱 회귀 기준 모델의 성능 향상을 위해 교차 검증을 적용하여 공정한 비교를 가능하게 한다.

실험 결과

연구 질문

• RQ1 특징 공학 없이도 결정 트리 기반 컨텍스트 밴딧 알고리즘이 뛰어난 성능을 달성할 수 있는가?
• RQ2 부트스트래핑 기반 탐색 전략은 파ram터 조정 없이 효과적인 탐색을 제공할 수 있으며, 전통적인 에프실론-그리디 또는 UCB 스타일 방법보다 뛰어난 성능을 낼 수 있는가?
• RQ3 선형 모델이 실패하는 복잡한 비선형 문맥-보상 관계를 가진 실세계 데이터셋에서 알고리즘의 성능은 어떠한가?
• RQ4 선형 모델이 이미 수렴했지만 모델 잘못 설정으로 인해 정확하지 않은 상황에서도 알고리즘이 시간이 지남에 따라 낮은 누적 손실을 유지할 수 있는가?
• RQ5 계산 히우리스틱은 온라인 환경에서 학습 속도와 전체 성능에 어떤 영향을 미치는가?

주요 결과

• TreeBootstrap는 테스트한 모든 시뮬레이션 및 실세계 데이터셋에서 최신 기술 수준의 알고리즘과 동등하거나 뛰어난 성능을 달성했다. 이는 스포츠 광고 및 UCI 데이터셋을 포함한다.
• Adult 및 Census UCI 데이터셋에서, LinUCB와 LogisticUCB는 최적의 탐색 파ram터로 조정되었음에도 불구하고, 최소한의 파ram터 설정에서 TreeBootstrap이 성능을 뛰어넘었다.
• Covertype 및 Shuttle 데이터셋에서는 시간이 지남에 따라 TreeBootstrap과 선형 모델 간의 성능 격차가 커졌으며, 이는 결정 트리가 진정한 비선형 보상 구조를 더 잘 포착했음을 시사한다.
• 특히 초기 시간 단계에서 순수 탐색 단계가 길어지는 것을 방지함으로써, BanditForest보다 누적 손실을 크게 줄였다.
• 계산 히우리스틱 덕분에 학습 시간을 크게 단축시키면서도 높은 성능를 유지하여 실시간 시스템에서의 실용적 구현을 가능하게 했다.
• 특징 공학 없이도 TreeBootstrap은 강력한 성능를 달성하여 낮은 데이터, 높은 불확실성 환경에서도 강인함을 입증했다.