[논문 리뷰] Learning is planning: near Bayes-optimal reinforcement learning via Monte-Carlo tree search

John Asmuth, Michael L. Littman|arXiv (Cornell University)|2012. 02. 14.

Reinforcement Learning in Robotics참고 문헌 27인용 수 34

한 줄 요약

이 논문은 몬테카를로 트리 탐색(MCTS)을 활용하여 큰 또는 무한한 마르코프 결정 과정(MDP)에서 near Bayes-최적 강화학습을 위한 방법을 제안한다. 특히 후행 탐색 희소 샘플링(FSSS)을 사용한다. 이는 베이지안 믹스 업데이트를 믹스 상태 MDP로 간주하고 FSSS를 이 공간에서 효율적으로 계획함으로써, 모든 단계 중 다항수의 단계를 제외한 나머지 단계에서 에이전트가 거의 Bayes-최적으로 행동할 수 있음을 보여준다.

ABSTRACT

Bayes-optimal behavior, while well-defined, is often difficult to achieve. Recent advances in the use of Monte-Carlo tree search (MCTS) have shown that it is possible to act near-optimally in Markov Decision Processes (MDPs) with very large or infinite state spaces. Bayes-optimal behavior in an unknown MDP is equivalent to optimal behavior in the known belief-space MDP, although the size of this belief-space MDP grows exponentially with the amount of history retained, and is potentially infinite. We show how an agent can use one particular MCTS algorithm, Forward Search Sparse Sampling (FSSS), in an efficient way to act nearly Bayes-optimally for all but a polynomial number of steps, assuming that FSSS can be used to act efficiently in any possible underlying MDP.

연구 동기 및 목표

• 큰 또는 무한한 상태 공간을 가진 알 수 없는 MDP에서 Bayes-최적 행동을 달성하는 데 도전하는 것.
• 역사에 의존하는 믹스 상태로 인해 믹스 상태 MDP의 상태 수가 기하급수적으로 증가하는 문제를 해결하는 것.
• 불확실한 환경에서 근사 최적의 의사결정을 위한 실용적이고 효율적인 방법 개발.
• FSSS가 믹스 상태 MDP에서 효과적으로 계획 수단으로 사용될 수 있음을 보여주어 near-Bayes-최적 정책을 가능하게 하는 것.
• 성능 손실에 대한 이론적 경계를 설정하여, 다항수의 단계를 제외한 나머지 단계에서는 근사 최적이 가능하다는 것을 보여주는 것.

제안 방법

• 알 수 없는 MDP에서의 Bayes-최적 행동을 믹스 상태 MDP에서의 최적 제어 문제로 재구성하며, 여기서 상태는 역사를 기반으로 한 확률 분포로 표현된다.
• MCTS의 변종인 후행 탐색 희소 샘플링(FSSS)을 사용하여 전체 상태 공간을 명시적으로 구성하지 않고도 믹스 상태 MDP를 효율적으로 탐색한다.
• FSSS를 활용해 현재 믹스 상태에서 미래의 경로를 시뮬레이션하고, 롤아웃을 통해 액션 가치를 추정하며 탐색을 이끌어낸다.
• 각 관측 이후 베이지안 업데이트를 통해 믹스 상태를 유지하고 갱신하여, 에이전트가 시간이 지남에 따라 불확실성을 고려해 추론할 수 있도록 한다.
• 샘플링된 액션과 전이 수를 줄이기 위해 희소 샘플링을 적용하여 계산 비용을 감소시키면서도 이론적 성능 보장을 유지한다.
• FSSS가 임의의 기반 MDP에서 효율적으로 적용될 수 있다고 가정할 때, 알고리즘이 여전히 효율성을 유지하도록 보장한다.

실험 결과

연구 질문

• RQ1 몬테카를로 트리 탐색(MCTS)을 사용하여 큰 또는 무한한 MDP에서 near Bayes-최적 행동을 달성할 수 있는가?
• RQ2 FSSS의 성능은 믹스 상태 MDP에서 정확한 Bayes-최적 정책과 비교해 어떻게 되는가?
• RQ3 계획 도중 믹스 상태를 유지하고 갱신하는 데 드는 계산 비용은 얼마이며, 이를 처리 가능하게 유지할 수 있는가?
• RQ4 에이전트의 정책이 언제 Bayes-최적에서 벗어나며, 영향을 받는 단계는 얼마나 되는가?
• RQ5 FSSS는 어떤 MDP에서도 효율적으로 적용될 수 있으며, 이를 위해 어떤 가정이 필요한가?

주요 결과

• 제안된 방법은 믹스 업데이트를 믹스 상태 MDP에서의 계획 문제로 간주함으로써, 알 수 없는 MDP에서 near Bayes-최적 행동을 가능하게 한다.
• 에이전트의 정책은 수평선과 액션 수에 대해 다항수의 증가를 보이는 단계를 제외하고는 최적이며, 기하급수적 증가가 아니다.
• FSSS를 통해 전체 믹스 상태 공간을 명시적으로 구성하지 않고도 믹스 상태 MDP에서 효율적인 계획이 가능하다.
• 기반 MDP에서 FSSS가 효율적으로 적용될 수 있다고 가정할 경우, 이론적 성능 보장이 유지된다.
• 믹스 상태를 명시적으로 나열하지 않기 때문에, 큰 또는 무한한 상태 공간으로의 확장이 가능하다.
• 실험 결과는 복잡한 환경에서 상당한 불확실성이 존재하더라도 이 방법이 실질적으로 높은 성능을 달성함을 시사한다.