[논문 리뷰] Bandit Algorithms for Tree Search

Pierre-Arnaud Coquelin, Rémi Munos|arXiv (Cornell University)|2014. 08. 09.

Artificial Intelligence in Games참고 문헌 6인용 수 178

한 줄 요약

이 논문은 보상의 연속성(smoothness)을 활용하여 큰 또는 무한한 트리에서의 트리 탐색을 향상시키기 위해 밴딧 알고리즘을 위한 스무스 트리(Bandit Algorithms for Smooth Trees, BAST) 및 관련 방법을 제안한다. 깊이에 따라 스케일링되는 신뢰구간을 도입하고, 잎노드 수준의 플랫-유크브(Flat-UCB)에 대해 유한 샘플의 리그레트 한계를 도출하여, BAST가 신뢰성 있는 신뢰구간을 통해 열악한 지표를 가지는 분지들을 잘라내어 효율적인 탐색과 최적 경로 수렴을 가능하게 함을 보여준다.

ABSTRACT

Bandit based methods for tree search have recently gained popularity when applied to huge trees, e.g. in the game of go [6]. Their efficient exploration of the tree enables to re- turn rapidly a good value, and improve preci- sion if more time is provided. The UCT algo- rithm [8], a tree search method based on Up- per Confidence Bounds (UCB) [2], is believed to adapt locally to the effective smoothness of the tree. However, we show that UCT is "over-optimistic" in some sense, leading to a worst-case regret that may be very poor. We propose alternative bandit algorithms for tree search. First, a modification of UCT us- ing a confidence sequence that scales expo- nentially in the horizon depth is analyzed. We then consider Flat-UCB performed on the leaves and provide a finite regret bound with high probability. Then, we introduce and analyze a Bandit Algorithm for Smooth Trees (BAST) which takes into account ac- tual smoothness of the rewards for perform- ing efficient "cuts" of sub-optimal branches with high confidence. Finally, we present an incremental tree expansion which applies when the full tree is too big (possibly in- finite) to be entirely represented and show that with high probability, only the optimal branches are indefinitely developed. We illus- trate these methods on a global optimization problem of a continuous function, given noisy values.

연구 동기 및 목표

• UCT의 한계, 특히 악성 최악의 리그레트로 이어지는 과도한 낙관주의를 해결하기 위해.
• 트리 내 보상의 실제 스무스함에 적응하는 밴딧 기반 트리 탐색 알고리즘을 개발하기 위해.
• 큰 또는 무한한 트리에서의 트리 탐색에 대해 높은 확률로 보장되는 유한 샘플 리그레트 한계를 제공하기 위해.
• 전체 트리가 명시적으로 표현될 수 없는 상황에서의 점진적 트리 확장을 가능하게 하기 위해.
• 높은 신뢰도로 열악한 부분트리를 잘라내어 최적 경로로의 수렴을 향상시키기 위해.

제안 방법

• 트리의 깊이에 따라 지수적으로 증가하는 신뢰구간을 사용하는 수정된 UCT를 제안하여 과도한 낙관을 줄인다.
• 잎노드에 직접 적용된 플랫-유크브(Flat-UCB)를 분석하고, 높은 확률로 유한 리그레트 한계를 도출한다.
• 지역적 스무스함 추정치를 활용하여 열악한 분지를 높은 신뢰도로 잘라내는 BAST(Bandit Algorithm for Smooth Trees)를 도입한다.
• 열악한 부분트리가 최적일 가능성을 동적으로 평가하는 기반 기반의 잘라내기 전략을 구현한다.
• 가장 유망한 분지들만 확장하는 점진적 트리 확장 메커니즘을 개발하여 전체 트리의 나열을 피한다.
• 신뢰구간에서 유도된 상한 신뢰경계를 활용하여 트리 내 탐색과 이용의 균형을 이룬다.

실험 결과

연구 질문

• RQ1 UCT의 과도한 낙관은 트리 탐색에서 더 나은 최악의 리그레트 성능을 달성하기 위해 수정될 수 있는가?
• RQ2 높은 확률 보장 하에 트리 탐색 알고리즘에 대해 유한 샘플 리그레트 한계를 확립할 수 있는가?
• RQ3 트리 내 보상의 스무스함을 활용하여 열악한 부분트리를 효율적으로 잘라낼 수 있는가?
• RQ4 높은 신뢰도로 최적의 분지들만을 중심으로 점진적 트리 확장을 수행할 수 있는가?
• RQ5 트리 탐색에서 보상 구조의 효과적 스무스함에 지역적으로 적응하는 밴딧 알고리즘을 설계할 수 있는가?

주요 결과

• 지수적 신뢰구간 스케일링을 적용한 수정된 UCT는 과도한 낙관을 줄이고 최악의 리그레트 성능을 향상시킨다.
• 잎노드에 적용된 플랫-유크브(Flat-UCB)는 높은 확률로 유한 리그레트 한계를 달성하여 잎노드 수준의 밴딧 방법에 대한 이론적 보장을 제공한다.
• BAST는 지역적 스무스함을 효과적으로 활용하여 열악한 부분트리를 높은 신뢰도로 잘라내어 탐색 효율성을 향상시킨다.
• 점진적 트리 확장 전략은 높은 확률로 최적의 분지들만 무한히 확장됨을 보장한다.
• 연속적인 글로벌 최적화 문제에 대한 실험 결과에서 BAST는 수렴 속도와 정확도 면에서 표준 UCT를 능가하는 것으로 나타났다.
• 이론적 분석을 통해 BAST가 무한 트리에서도 높은 확률의 신뢰성 하에 유한 리그레트 한계를 달성함을 확인하였다.