[논문 리뷰] Decision Tree Algorithms for the Contextual Bandit Problem.

Raphaël Féraud, Robin Allesiardo외 2명|arXiv (Cornell University)|2015. 04. 27.

Data Stream Mining Techniques인용 수 1

한 줄 요약

이 논문은 표본 효율적인 결정 심판(stump)을 기반으로 하여 그들을 숲 구조로 조합하는 온라인 랜덤 포레스트 알고리즘인 Bandit Forest를 제안한다. 이 방법은 시간에 따라 선형적으로 증가하는 시간 복잡도를 가지며, 로그 인수를 제외한 최적의 표본 복잡도를 달성하여 비선형적이고 고차원적인 맥락적 종속성을 가진 대규모 고속 응용 분야에 효과적으로 구현할 수 있다.

ABSTRACT

To address the contextual bandit problem, we propose an online random forest algorithm. The analysis of the proposed algorithm is based on the sample complexity needed to find the optimal decision stump. Then, the decision stumps are assembled in a random collection of decision trees, Bandit Forest. We show that the proposed algorithm is optimal up to logarithmic factors. The dependence of the sample complexity upon the number of contextual variables is logarithmic. The computational cost of the proposed algorithm with respect to the time horizon is linear. These analytical results allow the proposed algorithm to be efficient in real applications, where the number of events to process is huge, and where we expect that some contextual variables, chosen from a large set, have potentially non- linear dependencies with the rewards. In the experiments done to illustrate the theoretical analysis, Bandit Forest obtain promising results in comparison with state-of-the-art algorithms.

연구 동기 및 목표

• 고차원적이고 비선형적일 수 있는 맥락적 특징을 가진 대규모 응용 분야에서의 맥락 기반 밴딧 문제를 다루기.
• 맥락 기반 밴딧 설정에서 최적의 결정을 학습하기 위한 표본 복잡도를 줄이기.
• 시간 호라이즌에 대해 선형적으로 증가하는 복잡도를 갖는 효율적인 온라인 학습 알고리즘 개발하기.
• 맥락 변수와 보상 간의 비선형 종속성을 효과적으로 모델링하기.

제안 방법

• 표본 복잡도 분석을 이용해 맥락적 특징에서 최적의 분할을 식별하기 위해 결정 심판을 구축하기.
• 일반화 성능을 향상시키기 위해 다수의 결정 심판을 랜덤 포레스트 구조로 조합하여 Bandit Forest로 명명하기.
• 신규 맥락 데이터가 도착함에 따라 포레스트를 점진적으로 업데이트하기 위해 온라인 학습을 사용하기.
• 확장성을 유지하기 위해 맥락 변수의 수에 대해 로그 인수 의존성을 확보하기.
• 실시간 적용 가능성을 위해 시간 호라이즌에 대해 선형 계산 비용을 유지하기.
• 밴딧 설정에서 탐색과 이용의 균형을 이루기 위해 트리 구축 시 랜덤화 기법을 활용하기.

실험 결과

연구 질문

• RQ1 온라인 랜덤 포레스트 접근 방식이 맥락 기반 밴딧 문제에서 로그 인수를 제외한 최적의 표본 복잡도를 달성할 수 있는가?
• RQ2 알고리즘이 맥락 변수의 수와 시간 호라이즌에 대해 어떻게 확장되는가?
• RQ3 이 방법이 맥락과 보상 간의 비선형 종속성을 어느 정도 효과적으로 모델링할 수 있는가?
• RQ4 Bandit Forest는 최신 기술의 맥락 기반 밴딧 알고리즘과 비교해 성능가능성이 어떻게 되는가?

주요 결과

• 제안된 Bandit Forest 알고리즘은 로그 인수를 제외한 최적의 표본 복잡도를 달성한다.
• 표본 복잡도는 맥락 변수의 수에 대해 로그 인수 의존성을 보이며, 확장성을 보장한다.
• 계산 비용은 시간 호라이즌에 대해 선형적으로 증가하여 효율적인 실시간 배포를 가능하게 한다.
• 실증 결과에 따르면 Bandit Forest는 평가된 설정에서 최신 기술의 알고리즘들을 능가한다.
• 이 방법은 맥락적 특징과 보상 간의 비선형 종속성을 효과적으로 포착한다.
• 고차원 맥락 공간에서도 알고리즘이 강력한 성능을 유지한다.