[논문 리뷰] Model-Based Bayesian Reinforcement Learning in Large Structured Domains

Stéphane Ross, Joëlle Pineau|PubMed|2012. 06. 13.

Reinforcement Learning in Robotics참고 문헌 13인용 수 51

한 줄 요약

이 논문은 사실화된 상태 표현과 온라인 계획을 조합하여 대규모 구조화된 도메인에서 확장 가능한 모델 기반 베이지안 강화 학습 프레임워크를 제안한다. 이는 모델 파라미터에 대한 효율적인 사후 추론과 거의 최적의 행동 시퀀스를 가능하게 하여, 복잡한 환경에서 기존의 베이지안 강화 학습에 비해 상당한 확장성 향상을 이룬다.

ABSTRACT

Model-based Bayesian reinforcement learning has generated significant interest in the AI community as it provides an elegant solution to the optimal exploration-exploitation tradeoff in classical reinforcement learning. Unfortunately, the applicability of this type of approach has been limited to small domains due to the high complexity of reasoning about the joint posterior over model parameters. In this paper, we consider the use of factored representations combined with online planning techniques, to improve scalability of these methods. The main contribution of this paper is a Bayesian framework for learning the structure and parameters of a dynamical system, while also simultaneously planning a (near-)optimal sequence of actions.

연구 동기 및 목표

• 대규모이고 구조화된 도메인에서 모델 기반 베이지안 강화 학습의 확장성 한계를 해결한다.
• 큰 상태 공간에서 모델 파라미터에 대한 공동 사후 추론의 높은 계산 비용을 극복한다.
• 복잡한 환경에서 원리적인 베이지안 추론을 통해 효과적인 탐색-이용 균형을 실현한다.
• 구조 학습과 온라인 계획을 통합하여 불확실성 하에 거의 최적의 의사결정을 지원한다.
• 조건부 독립성과 사실화된 표현을 활용하여 대규모 도메인으로의 확장이 가능한 프레임워크를 개발한다.

제안 방법

• 조건부 의존성을 모델링하고 파rameter 공간 복잡도를 감소시키기 위해 상태 공간의 사실화된 표현을 사용한다.
• 모델 파라미터에 대한 사후 분포를 유지하기 위해 베이지안 추론을 적용하여 역학의 불확실성을 포착한다.
• 근사 최적의 행동 시퀀스를 계산하기 위해 몬테카를로 트리 검색(MCTS) 또는 유사한 온라인 계획 기법을 활용한다.
• 모델 학습과 계획을 통합된 프레임워크로 통합하여 사후 불확실성 기반의 적응적 탐색을 가능하게 한다.
• 사실화된 모델 내 조건부 독립성을 활용하여 효율적인 추론을 수행하고 계산 부담을 감소시킨다.
• 고차원 파rameter 공간에서의 사후 업데이트를 확장하기 위해 근사 추론 방법(예: 변분 또는 샘플링 기반)을 사용한다.

실험 결과

연구 질문

• RQ1 효율적인 추론과 계획을 통해 베이지안 강화 학습을 대규모 구조화된 도메인으로 확장할 수 있는가?
• RQ2 어떻게 사실화된 표현이 모델 기반 강화 학습에서 사후 추론의 계산 복잡도를 감소시킬 수 있는가?
• RQ3 베이지안 모델 학습과 결합된 온라인 계획이 의사결정 품질을 얼마나 향상시키는가?
• RQ4 이 프레임워크는 고차원 상태 공간으로 확장되면서도 효과적인 탐색을 유지할 수 있는가?
• RQ5 이 베이지안 프레임워크에서 계획 정확도와 계산 효율성 사이의 상충 관계는 어떠한가?

주요 결과

• 제안된 프레임워크는 대규모 구조화된 도메인에서 표준 베이지안 강화 학습에 비해 상당한 확장성 향상을 달성한다.
• 사실화된 표현은 사후 추론의 계산 부담을 감소시켜 고차원 상태 공간을 가진 도메인에의 적용을 가능하게 한다.
• 베이지안 불확실성과 함께 온라인 계획을 적용하면 더 효과적인 탐색과 최적 정책에의 더 빠른 수렴이 이뤄진다.
• 원리적인 불확실성 인식 행동 선택 덕분에 샘플 효율성이 향상된다.
• 기준 도메인에서의 실증 결과는 이 방법이 누적 보상과 학습 속도 측면에서 비-베이지안 기준보다 뛰어나다는 것을 보여준다.
• 구조 학습과 온라인 계획의 통합은 제한된 데이터와 높은 모델 불확실성 하에서도 견고한 성능을 제공한다.