[논문 리뷰] Exploiting the Natural Exploration In Contextual Bandits.

Hamsa Bastani, Mohsen Bayati외 1명|arXiv (Cornell University)|2017. 04. 28.

Advanced Bandit Algorithms Research인용 수 10

한 줄 요약

이 논문은 자연스러운 탐색을 통해 명시적 탐색 없이 渐近 최적성을 달성하는 새로운 문맥 bandit 알고리즘인 Greedy-First를 제안한다. 일반적인 문맥 분포 하에서 이중 암표 설정에서 탐욕 정책이 비율 최적성이 되는 것을 증명하고, 시뮬레이션에서 Thompson sampling, UCB, ε-greedy보다 뛰어난 성능을 보인다.

ABSTRACT

The contextual bandit literature has traditionally focused on algorithms that address the exploration-exploitation trade-off. In particular, greedy policies that exploit current estimates without any exploration may be sub-optimal in general. However, exploration-free greedy policies are desirable in many practical settings where exploration may be prohibitively costly or unethical (e.g. clinical trials). We prove that, for a general class of context distributions, the greedy policy benefits from a natural exploration obtained from the varying contexts and becomes asymptotically rate-optimal for the two-armed contextual bandit. Through simulations, we also demonstrate that these results generalize to more than two arms if the dimension of contexts is large enough. Motivated by these results, we introduce Greedy-First, a new algorithm that uses only observed contexts and rewards to determine whether to follow a greedy policy or to explore. We prove that this algorithm is asymptotically optimal without any additional assumptions on the distribution of contexts or the number of arms. Extensive simulations demonstrate that Greedy-First successfully reduces experimentation and outperforms existing (exploration-based) contextual bandit algorithms such as Thompson sampling, UCB, or $\epsilon$-greedy.

연구 동기 및 목표

• 임상 시험과 같이 명시적 탐색이 불가능한 실세계 적용에서 탐색 비용과 윤리적 제약을 해결하기 위해.
• 문맥 변화에 의해 유도되는 자연스러운 탐색을 통해 탐욕 정책이 渐近 최적성을 달성할 수 있는지 조사하기 위해.
• 관측된 문맥과 보상을 유일한 자료로 사용하여 탐욕적 행동 선택과 탐색 사이를 동적으로 결정하는 실용적인 알고리즘을 설계하기 위해.
• 문맥 분포나 암표 수에 대한 가정 없이 제안된 알고리즘의 渐近 최적성을 증명하기 위해.

제안 방법

• 알고리즘은 관측된 문맥과 보상을 기반으로 현재 정책이 열등한지에 대한 통계적 증거를 바탕으로 탐욕 정책을 따르는지 또는 탐색을 수행할지 결정한다.
• 문맥의 자연스러운 변동을 활용하여 암시적 탐색을 이끌어내어 ε-greedy나 Thompson sampling과 같은 명시적 탐색 메커니즘의 필요성을 제거한다.
• 이론적 분석을 통해 일반적인 문맥 분포 하에서 이중 암표 문맥 bandit 설정에서 탐욕 정책이 渐近적으로 비율 최적성이 되는 것을 증명한다.
• Greedy-First는 문맥 분포나 암표 수에 대한 가정 없이 증명되며, 관측된 데이터에만 의존한다.
• 현재 정책 성능에 대한 신뢰도에 따라 이용과 탐색 사이를 동적으로 전환한다.
• 실험을 최소화하면서도 최적의 누적 손실 비율을 유지하도록 알고리즘을 설계하였다.

실험 결과

연구 질문

• RQ1 문맥 변화에 의해 발생하는 자연스러운 탐색이 있을 때, 탐욕 정책이 문맥 bandit에서 渐近 최적성을 달성할 수 있는가?
• RQ2 제안된 Greedy-First 알고리즘이 실무에서 기존의 탐색 기반 알고리즘인 Thompson sampling, UCB, ε-greedy를 능가하는가?
• RQ3 어떤 조건에서 자연스러운 문맥 변동이 渐近 최적성을 달성하기에 충분한 탐색을 이끌어내는가?
• RQ4 Greedy-First는 문맥 분포나 암표 수에 대한 가정 없이 渐近 최적성을 유지할 수 있는가?
• RQ5 관측된 데이터만을 사용하여 알고리즘이 어떻게 이용과 탐색을 균형 잡는가?

주요 결과

• 문맥 변화에 의해 유도되는 자연스러운 탐색 덕분에 탐욕 정책는 일반적인 문맥 분포 하에서 이중 암표 문맥 bandit 설정에서 渐近적으로 비율 최적성이 된다.
• 시뮬레이션 결과에 따르면, 문맥 차원이 충분히 클 경우 두 개 이상의 암표로 일반화됨을 확인하였다.
• Thompson sampling, UCB, ε-greedy와 같은 탐색 기반 알고리즘과 비교해 Greedy-First는 실험 횟수를 줄였다.
• Greedy-First는 문맥 분포나 암표 수에 대한 추가 가정 없이 渐近 최적성을 달성한다.
• 광범위한 시뮬레이션을 통해 Greedy-First가 누적 손실과 샘플 효율성 측면에서 기존의 문맥 bandit 알고리즘을 능가함을 확인하였다.
• 관측된 데이터를 활용해 이용과 탐색 사이를 동적으로 결정함으로써 알고리즘이 강력한 경험적 성능을 보였다.