[논문 리뷰] Learning in POMDPs with Monte Carlo Tree Search

Sammie Katt, Frans A. Oliehoek외 1명|arXiv (Cornell University)|2018. 06. 14.

Reinforcement Learning in Robotics참고 문헌 16인용 수 3

한 줄 요약

이 논문은 부분적으로 관측 가능한 환경에서 동역학이 알려져 있지 않은 상황에서도 효율적인 온라인 학습을 가능하게 하는 베이즈-유연성 POMDPs(Bayes-Adaptive POMDPs)를 위한 몬테카를로 트리 탐색(Monte Carlo Tree Search) 확장인 BA-POMCP를 소개한다. 루트 샘플링, 기대 모델, 연결 상태, 구조적 모델 표현 방식을 활용하여 BA-POMCP는 최적의 해에 수렴하며 기존에 해결이 어려웠던 문제들에 대해서도 스케일링이 가능하다.

ABSTRACT

The POMDP is a powerful framework for reasoning under outcome and information uncertainty, but constructing an accurate POMDP model is difficult. Bayes-Adaptive Partially Observable Markov Decision Processes (BA-POMDPs) extend POMDPs to allow the model to be learned during execution. BA-POMDPs are a Bayesian RL approach that, in principle, allows for an optimal trade-off between exploitation and exploration. Unfortunately, BA-POMDPs are currently impractical to solve for any non-trivial domain. In this paper, we extend the Monte-Carlo Tree Search method POMCP to BA-POMDPs and show that the resulting method, which we call BA-POMCP, is able to tackle problems that previous solution methods have been unable to solve. Additionally, we introduce several techniques that exploit the BA-POMDP structure to improve the efficiency of BA-POMCP along with proof of their convergence.

연구 동기 및 목표

• 유한하지 않은 상태 공간을 가진 비트ivial 도메인에서 베이즈-유연성 POMDPs(BA-POMDPs)를 해결하는 데 있어 실용성이 떨어지는 문제를 해결하기 위해.
• BA-POMDPs의 베이지안 학습 측면을 처리할 수 있도록 POMCP 알고리즘을 확장하여, 모델 불확실성이 존재하는 상황에서도 온라인 계획을 가능하게 하기 위해.
• 디리클레 사전과 충분통계량 등의 BA-POMDP의 구조적 특성을 활용하여 표본 효율성과 확장성을 향상시키기 위해.
• 제안된 개선 사항의 이론적 수렴 보장을 제공하여 학습의 정확성을 보장하기 위해.
• 완전한 모델 지식이 없음에도 불구하고 복잡한 부분 관측 환경에서 베이지안 강화학습의 실용적 구현을 가능하게 하기 위해.

제안 방법

• 환경 모델에 대한 믿음(belief)을 유지하면서, POMCP의 온라인 및 표본 기반 계획 방식을 BA-POMDP 프레임워크에 적응시킨다.
• 초기 상태를 에이전트의 믿음에서 샘플링하는 루트 샘플링을 도입하여 모델 공간 내 탐색을 향상시킨다.
• 모델 분포에 대한 기대 수익을 근사하기 위해 기대 모델 샘플링을 구현하여 가치 추정의 분산을 감소시킨다.
• 모델 공간을 압축하고 효율적으로 표현하기 위해 연결 상태(링킹 상태)를 제안하여 계산 오버헤드를 줄인다.
• 공액 사전(디리클레 분포)을 활용하여 충분통계량을 사용해 모델 믿음을 분석적으로 갱신함으로써 효율적인 베이지안 갱신을 가능하게 한다.
• 기존 MCTS의 표준 가정 하에 수정된 알고리즘이 진정한 BA-POMDP 해에 수렴함을 증명하여 이론적 타당성을 확보한다.

실험 결과

연구 질문

• RQ1 실행 도중 환경 모델을 학습해야 하는 베이즈-유연성 POMDPs를 효과적으로 해결하기 위해 몬테카를로 트리 탐색을 어떻게 확장할 수 있는가?
• RQ2 무한한 모델 공간을 가진 BA-POMDPs의 계산 복잡도는 어떻게 줄일 수 있으며, 同시에 최적성 보장을 유지할 수 있는가?
• RQ3 온라인 베이지안 POMDP 계획에서 표본 효율성과 확장성을 향상시키기 위해 어떤 샘플링 및 표현 기법이 유용한가?
• RQ4 제안된 방법인 BA-POMCP는 BA-POMDP 프레임워크 내에서 최적 정책으로 수렴하는가?
• RQ5 BA-POMDP의 구조적 특성(예: 디리클레 공액성)은 더 효율적인 추론 및 계획 알고리즘 설계에 어떻게 활용될 수 있는가?

주요 결과

• 기존 방법으로는 해결이 어려웠던 BA-POMDP 문제들을 BA-POMCP가 성공적으로 해결하며 더 큰 도메인에 대한 확장성을 입증하였다.
• 루트 샘플링과 기대 모델의 통합은 표본 효율성을 크게 향상시키고 가치 추정의 분산을 감소시켰다.
• 링킹 상태의 도입은 모델 표현의 차원을 줄여 믿음 갱신 속도를 높이고 메모리 사용량을 감소시켰다.
• 이론적 수렴 증명을 통해 BA-POMCP가 시뮬레이션 횟수가 증가함에 따라 기저의 BA-POMDP 최적 해에 수렴한다는 점을 확인하였다.
• 실험 결과, 부분 관측 환경에서 모델을 알지 못하는 상황에서 BA-POMCP는 누적 보상과 학습 속도 측면에서 베이스라인 방법들을 능가하는 성능을 보였다.
• 공액 사전(디리클레)의 사용은 모델 믿음의 정확하고 안정적인 정확한 베이지안 갱신을 가능하게 하여 학습의 정확도를 향상시켰다.