[논문 리뷰] Bayesian Reinforcement Learning via Deep, Sparse Sampling

Divya Grover, Debabrota Basu외 1명|arXiv (Cornell University)|2019. 02. 07.

Reinforcement Learning in Robotics참고 문헌 21인용 수 4

한 줄 요약

이 논문은 신뢰도 상태에서 정책 샘플링을 사용하여 더 깊고 흐린 계획 트리를 구축함으로써 효율적이고 낙관주의가 없는 탐색을 가능하게 하는 베이지안 강화학습 알고리즘인 DSS(Deeper Sparser Sampling)를 제안한다. 개별 행동이 아닌 장기 옵션을 샘플링함으로써 계산 비용을 크게 낮추면서도 최첨단 성능을 달성하며, 베이즈 최적 정책에 대한 부분최적성에 대한 PAC 스타일 이론적 경계를 제공한다.

ABSTRACT

We address the problem of Bayesian reinforcement learning using efficient model-based online planning. We propose an optimism-free Bayes-adaptive algorithm to induce deeper and sparser exploration with a theoretical bound on its performance relative to the Bayes optimal policy, with a lower computational complexity. The main novelty is the use of a candidate policy generator, to generate long-term options in the planning tree (over beliefs), which allows us to create much sparser and deeper trees. Experimental results on different environments show that in comparison to the state-of-the-art, our algorithm is both computationally more efficient, and obtains significantly higher reward in discrete environments.

연구 동기 및 목표

• 베이지안 강화학습에서 베이즈 최적 계획의 계산 비용 문제를 해결하기 위해 더 깊고 흐린 트리 확장을 가능하게 한다.
• 불확실성에 대한 낙관주의에 의존하지 않기 위해 정책 샘플링을 사용해 탐색을 이끌어내는 것을 목적으로 한다.
• 베이즈 최적 정책에 대한 성능 이론적 보장을 유지하면서도 계산 복잡도를 낮춘다.
• 기존 최첨단 방법에 비해 이산 MDP 환경에서 샘플 효율성과 장기 보상 축적 능력을 향상시킨다.

제안 방법

• 알고리즘은 노드가 정보 상태를 나타내는 신뢰도 트리를 구축하며, 개별 행동이 아닌 장기 수준 정책을 샘플링하는 후보 정책 생성기를 사용한다.
• 각 계획 단계에서 높은 기대 보상 정책의 제한된 수만을 샘플링하고 확장함으로써 분지 수를 크게 줄여 깊은 트리 성장을 가능하게 한다.
• DSS 정책와 베이즈 최적 정책 간의 부분최적성 갭을 제한하기 위해 PAC(Possibly Approximately Correct) 계획 프레임워크를 활용한다.
• MDP 모델에 대한 사후 신뢰도에서 톰슨 샘플링 유사한 정책 샘플링을 사용해 트리 확장에 다양하고 고품질의 옵션을 생성한다.
• BFS3와 마찬가지로 신뢰도 노드에 상한과 하한을 유지하지 않고, DSS는 직접 사후 분포에서 샘플링하여 행동을 선택함으로써 계산을 단순화한다.
• 알고리즘은 K단계의 수평선을 기준으로 계획을 수행하며, 매 K단계마다 정책를 업데이트함으로써 단계당 계산 오버헤드를 줄이고 장기 성능를 유지한다.

실험 결과

연구 질문

• RQ1 정책 수준의 샘플링을 사용해 더 깊고 흐린 계획 트리를 구성함으로써 베이지안 RL에서 탐색 효율성을 향상시킬 수 있는가?
• RQ2 불확실성에 대한 낙관주의를 제거함으로써 신뢰도 MDP 계획에서 더 나은 장기 성능와 낮은 계산 비용을 달성할 수 있는가?
• RQ3 제안된 DSS 알고리즘과 베이즈 최적 정책 간의 이론적 부분최적성 갭은 무엇이며, 계획 깊이 K에 따라 어떻게 변화하는가?
• RQ4 BAMCP, BFS3, SBOSS와 같은 최첨단 BAMDP 알고리즘과 비교할 때 DSS는 보상과 계산 효율성 측면에서 어떻게 다른가?
• RQ5 행동 수준의 샘플링 대신 정책 수준의 샘플링을 사용하면 진정한 모델에 더 빨리 수렴하고 더 높은 누적 보상을 달성할 수 있는가?

주요 결과

• DSS는 Chain, DoubleLoop, Grid5, Grid10, Maze를 포함한 모든 테스트 환경에서 누적 보상 측면에서 모든 최첨단 알고리즘을 압도하며 통계적으로 유의미한 성과 향상을 보였다.
• Maze 환경에서 DSS는 평균 누적 보상 1532.0을 기록했으며, BAMCP(1789.4)와 BFS3(3558.7)를 모두 뛰어넘었지만, BFS3는 시간 제한을 초과하여 DSS의 뛰어난 효율성을 입증했다.
• DSS는 모든 기준선보다 평균 단계별 보상을 높게 기록했으며, 특히 초기 학습 단계에서 정책 샘플링의 우수한 탐색 능력을 입증했다.
• 계산 측면에서 DSS는 BFS3에 비해 에피소드당 시간을 크게 줄였고, 샘플링 수가 증가함에 따라 성능이 저하되는 BAMCP조차도 종종 DSS를 앞섰다.
• 초기 조정 파라미터 N과 M이 증가함에 따라 알고리즘의 성능가 빠르게 정점에 도달함을 보여, 빠른 수렴성과 파rameter 조정에 대한 강건성을 입증했다.
• 이론적 분석은 DSS와 베이즈 최적 정책 간의 부분최적성 갭이 유한하며 계획 깊이 K가 증가함에 따라 감소함을 확인했으며, 강력한 PAC 스타일 보장을 제공한다.