[논문 리뷰] POLY-HOOT: Monte-Carlo Planning in Continuous Space MDPs with Non-Asymptotic Analysis

Weichao Mao, Kaiqing Zhang외 2명|arXiv (Cornell University)|2020. 06. 08.

Advanced Bandit Algorithms Research인용 수 6

한 줄 요약

이 논문은 연속 상태 마르코프 결정 과정(MDP)를 위한 몬테카를로 계획 알고리즘인 POLY-HOOT을 제안한다. 이 알고리즘은 계층적 낙관적 최적화(HOO)의 다항식 보너스 변종과 몬테카를로 트리 탐색(MCTS)을 통합한다. 표준 로그 보너스 대신 비정상적인 보상에 더 잘 대응하기 위해 다항식 보너스를 도입함으로써, POLY-HOOT는 비점근적 수렴을 다항식 속도로 달성하며, 최적 가치 함수의 임의로 작은 이웃 영역으로 수렴한다. 실험적 검증을 통해 이는 이산화된 및 로그 보너스 기반 기준선 대비 뛰어난 샘플 효율성과 강건성을 보여준다.

ABSTRACT

Monte-Carlo planning, as exemplified by Monte-Carlo Tree Search (MCTS), has demonstrated remarkable performance in applications with finite spaces. In this paper, we consider Monte-Carlo planning in an environment with continuous state-action spaces, a much less understood problem with important applications in control and robotics. We introduce POLY-HOOT, an algorithm that augments MCTS with a continuous armed bandit strategy named Hierarchical Optimistic Optimization (HOO) (Bubeck et al., 2011). Specifically, we enhance HOO by using an appropriate polynomial, rather than logarithmic, bonus term in the upper confidence bounds. Such a polynomial bonus is motivated by its empirical successes in AlphaGo Zero (Silver et al., 2017b), as well as its significant role in achieving theoretical guarantees of finite space MCTS (Shah et al., 2019). We investigate, for the first time, the regret of the enhanced HOO algorithm in non-stationary bandit problems. Using this result as a building block, we establish non-asymptotic convergence guarantees for POLY-HOOT: the value estimate converges to an arbitrarily small neighborhood of the optimal value function at a polynomial rate. We further provide experimental results that corroborate our theoretical findings.

연구 동기 및 목표

• 연속 상태 및 연속 행동 MDP에서 몬테카를로 계획에 대한 이론적 보장을 부족한 문제를 해결하기 위해.
• 사전에 지정된 행동 이산화의 한계를 극복하기 위해, 계산 비용과 해의 최적성 사이의 상충 관계를 피하기 위해.
• 기존의 로그 보너스 항을 사용하는 연속 MCTS 방법인 HOOT과 비교해, 더 강력한 이론적 수렴 보장을 확보하기 위해.
• 비정상적인 밴딧 설정에서의 손실 분석을 통해 연속 공간에서 MCTS의 비점근적 수렴 속도를 확립하기 위해.
• 기본 제어 환경에서의 실험적 평가를 통해 이론적 개선 사항을 검증하기 위해.

제안 방법

• 상위 신뢰도 구간에 표준 로그 보너스 대신 다항식 보너스 항을 도입하여 HOO 밴딧 전략을 개선함으로써, 비정상적인 보상을 더 잘 처리할 수 있도록 한다.
• 개선된 HOO 전략을 MCTS에 통합하여 POLY-HOOT를 구성함으로써, 연속 행동 공간의 적응형이고 계층적인 분할을 가능하게 한다.
• 모든 상태에 대해 가치 함수 오라클을 0으로 설정하여 가치 추정 편향과 무관하게 계획 성능을 평가한다.
• 공정한 비교를 위해 PUCT에서 점진적 넓이 확장 기법을 사용하며, 제곱근 성장 계수를 적용하고, 알고리즘 간에 고정된 MCTS 깊이와 시뮬레이션 횟수를 유지한다.
• POLY-HOOT의 핵심 알고리즘 파라미터로는 ρ = 1/4^m, ν₁ = 4m, α=5, ξ=20, η=0.5를 설정하며, HOO 트리 깊이를 H̄=10으로 제한한다.
• 평가 시뮬레이션 라운드에 대해 로그 스케일을 사용하여 알고리즘 간의 샘플 복잡성과 수렴 속도를 평가한다.

실험 결과

연구 질문

• RQ1 HOO 기반 MCTS에 다항식 보너스를 적용할 경우, 비정상적인 보상을 가진 연속 MDP에서 비점근적 수렴을 확보할 수 있는가?
• RQ2 비정상적인 밴딧 문제에서 개선된 HOO 전략의 손실 집중 속도는 어떻게 되는가?
• RQ3 POLY-HOOT는 이산화된 UCT 및 점진적 넓이 확장 기반 PUCT보다 더 빠른 수렴 속도와 뛰어난 샘플 효율성을 달성하는가?
• RQ4 이산화된 UCT의 성능은 행동 이산화 수준의 선택에 얼마나 민감한가?
• RQ5 HOOT(로그 보너스를 사용)보다 이론적·실제로 POLY-HOOT이 뛰어난 성능을 보이는가?

주요 결과

• POLY-HOOT는 최적 가치 함수의 임의로 작은 이웃 영역으로 다항식 속도로 비점근적 수렴을 달성하며, 강력한 이론적 보장을 제공한다.
• 다항식 보너스를 적용한 개선된 HOO 전략은 비정상적인 밴딧 문제에서 손실 집중 성능이 향상되어, POLY-HOOT의 수렴성에 이론적 기반을 제공한다.
• CartPole 및 CartPole-IG 작업에서 POLY-HOOT와 HOOT는 이산화된 UCT 및 PUCT보다 훨씬 적은 시뮬레이션 라운드로 최적 보상을 달성했다.
• 이산화된 UCT의 성능은 행동 이산화 수준에 매우 민감했으며, 더 미세한 격자에서도 일관된 향상가능성이 없었고, 격자 밀도 변화에 따라 보상 변동성이 높았다.
• 결과적으로, POLY-HOOT에서 HOO를 통한 적응형 분할 전략이 고정된 사전 지정 이산화 전략보다 더 낮은 샘플 복잡성과 더 높은 강건성을 제공함을 보여주었다.
• 실험 결과는 이론적 분석을 뒷받침하며, POLY-HOOT가 수렴 속도와 안정성 면에서 이산화된 UCT 및 HOOT를 모두 능가함을 보여주었다.