[논문 리뷰] Active Reinforcement Learning with Monte-Carlo Tree Search

Sebastian Schulze, Owain Evans|arXiv (Cornell University)|2018. 03. 13.

Advanced Bandit Algorithms Research참고 문헌 26인용 수 6

한 줄 요약

이 논문은 표본 MDP에서 쿼리 비용과 보상 획득을 균형 잡는 활성 강화학습(ARL)을 위한 몬테카를로 트리 탐색(MCTS)-기반 알고리즘인 BAMCP++을 제안한다. 모델-프리 학습기를 MCTS 롤아웃에 통합함으로써 BAMCP++는 渐진적 베이즈 최적성(Asymptotic Bayes optimality)을 달성하고, 더 큰 MDP에서 ARL 전용 히وري스틱을 갖춘 모델-프리 베이스라인보다 뛰어난 성능을 보이며, 작은 문제에서는 거의 최적에 가까운 성능과 뛰어난 확장성을 입증한다.

ABSTRACT

Active Reinforcement Learning (ARL) is a twist on RL where the agent observes reward information only if it pays a cost. This subtle change makes exploration substantially more challenging. Powerful principles in RL like optimism, Thompson sampling, and random exploration do not help with ARL. We relate ARL in tabular environments to Bayes-Adaptive MDPs. We provide an ARL algorithm using Monte-Carlo Tree Search that is asymptotically Bayes optimal. Experimentally, this algorithm is near-optimal on small Bandit problems and MDPs. On larger MDPs it outperforms a Q-learner augmented with specialised heuristics for ARL. By analysing exploration behaviour in detail, we uncover obstacles to scaling up simulation-based algorithms for ARL.

연구 동기 및 목표

• 보상 관측에 비용이 수반되는 활성 강화학습(ARL)에서의 탐색 문제를 해결하기 위해.
• 표본 MDP에서 ARL을 베이즈-적응형 MDP 문제로 공식화하여 불확실성 하에서 체계적인 계획 수립을 가능하게 하기 위해.
• 모의 기반 알고리즘을 개발하여 ARL에 대해 渐진적 베이즈 최적 정책을 달성하고, 표준 MCTS와 히وري스틱 기반 접근법의 한계를 극복하기 위해.
• 더 큰 MDP에서의 실용적 성능을 향상시키기 위해 MCTS 롤아웃을 더 스마트한 모델-프리 탐색 전략으로 개선하기 위해.

제안 방법

• 논문은 표본 MDP에서의 ARL을, 알 수 없는 보상에 대한 사후분포를 유지하고 쿼리 비용을 고려한 기대 수익을 최대화하는 계획 문제로 축소한다.
• 쿼리 비용을 수익 계산에 통합하고 베이즈 업데이트를 사용해 보상 신뢰도를 정교화함으로써, 모델 기반 MCTS인 BAMCP 알고리즘을 ARL에 확장한다.
• BAMCP++는 Q-러닝 기반 추정기로 시뮬레이션 경로를 안내하는 모델-프리 롤아웃 정책을 도입하여, 이용도 향상과 랜덤 롤아웃에 대한 의존도 감소를 달성한다.
• 트리 선택에는 상한 신뢰도 기반(Upper Confidence Bounds, UCB)을 사용하고, 공액 사전을 사용해 보상에 대한 사후분포를 유지함으로써 효율적인 베이즈 업데이트를 가능하게 한다.
• BAMCP++의 롤아웃은 학습된 Q-값 추정치에 의해 안내되며, 이는 장기적 수익을 더 잘 예측하고 낭비적인 쿼리 수를 줄이는 데 기여한다.
• 비교의 공정성을 확보하기 위해 각 MDP 유형별로 하이퍼파rameter를 조정하고, 다양한 수평과 상태-행동 공간을 가진 여러 MDP에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 표본 MDP에서의 ARL은 쿼리 비용 하에서 최적의 탐색을 달성하기 위해, 베이즈-적응형 MDP 계획 문제로 공식화될 수 있는가?
• RQ2 베이즈 업데이트를 통한 MCTS 기반 계획은 ARL에 대해 渐진적 베이즈 최적 정책을 도출할 수 있는가?
• RQ3 MCTS에서 롤아웃 정책의 선택은 특히 더 큰 MDP에서 성능에 어떤 영향을 미치는가?
• RQ4 모델-프리 롤아웃 전략은 ARL 시뮬레이션에서 랜덤 또는 히وري스틱 기반 롤아웃보다 뛰어난 성능을 낼 수 있는가?
• RQ5 BAMCP++는 전용 탐색 히وري스틱을 갖춘 모델-프리 ARL 알고리즘과 비교해 총 수익과 쿼리 효율성 측면에서 어떻게 성능을 냈는가?

주요 결과

• Early Fork 및 Late Fork와 같은 작은 MDP에서 BAMCP++는 거의 최적의 성능을 달성하며, Late4-30에서 평균 수익 28.2, Early4-30에서 25.9를 기록하여 MCCH와 First-N을 앞선다.
• 25개의 랜덤 MDP에서 BAMCP++는 평균 수익 60.2(표준편차 8.8)를 기록했으며, 이는 Rand-25 벤치마크에서 MCCH(48.5)와 First-N(55.7)를 뚜렷이 앞선다.
• 15개의 액션과 100단계의 수평을 가진 더 큰 MDP에서 BAMCP++는 ARL 전용 히وري스틱을 갖춘 모델-프리 베이스라인을 초월하며, 특히 높은 수평 설정인 Early5-50(32.9 대 MCCH 39.3, First-N 42.9)에서 두드러진 성능을 보인다.
• 하이퍼파rameter 설정에 대해 성능이 뛰어나게 안정적이며, First-N과 BAMCP++는 다양한 쿼리 예산에서 일관된 성능을 보였고, MCCH는 튜닝 없이 성능이 열 劣하다.
• BAMCP++의 모델-프리 롤아웃 정책 사용은 시뮬레이션 품질을 크게 향상시켜 더 나은 장기 수익 추정과 더 효율적인 쿼리 선택을 가능하게 한다.
• 더 긴 수평(예: Late5-50)에서 BAMCP++의 상대적 성능 저하 원인은 단계당 MCTS 시뮬레이션 수가 제한되어 있음에 기인하며, 이는 모의 기반 ARL 알고리즘의 확장성 문제를 드러낸다.