[논문 리뷰] Cover Tree Bayesian Reinforcement Learning

Nikolaos Tziortziotis, Christos Dimitrakakis외 1명|arXiv (Cornell University)|2013. 05. 08.

Reinforcement Learning in Robotics참고 문헌 60인용 수 15

한 줄 요약

이 논문은 연속 상태 공간에서 데이터에 의존하는 파artition을 구축하기 위해 커버 트리를 사용하는 비모수 베이지안 방법인 커버 트리 베이지안 강화학습(CTBRL)을 제안한다. 이는 조각별 선형 가우시안 모델을 통해 효율적인 온라인 추론을 가능하게 하며, 톰슨 샘플링과 근사 동적 프ogramming을 결합하여 연속 제어 과제에서 뛰어난 샘플 효율성과 안정성을 달성한다. 이는 가우시안 프로세스, 선형 모델 및 LSPI보다 온라인 및 오프라인 실험 모두에서 슈퍼리어한 성능을 보였다.

ABSTRACT

This paper proposes an online tree-based Bayesian approach for reinforcement learning. For inference, we employ a generalised context tree model. This defines a distribution on multivariate Gaussian piecewise-linear models, which can be updated in closed form. The tree structure itself is constructed using the cover tree method, which remains efficient in high dimensional spaces. We combine the model with Thompson sampling and approximate dynamic programming to obtain effective exploration policies in unknown environments. The flexibility and computational simplicity of the model render it suitable for many reinforcement learning problems in continuous state spaces. We demonstrate this in an experimental comparison with least squares policy iteration.

연구 동기 및 목표

• 알 수 없는 동역학을 가진 연속 상태 강화학습에서 효율적인 탐색과 추론에 도전하는 것.
• 온라인 학습과 불확실성 인식 의사결정을 지원하는 확장 가능한 비모수 베이지안 모델을 개발하는 것.
• 기존의 가우시안 프로세스와 선형 모델과 비교해 샘플 효율성과 안정성을 향상시키는 것.
• 탄탄한 조각별 선형 모델 구조 내에서 톰슨 샘플링을 통해 효과적인 탐색을 가능하게 하는 것.

제안 방법

• 메트릭 기반 계층을 사용해 상태 공간을 재귀적으로 파artition하는 커버 트리를 활용하여 로그 시간 복잡도의 추론을 가능하게 한다.
• 조각별 선형 가우시안 모델에 대한 사전분포를 정의하기 위해 일반화된 컨텍스트 트리 모델을 사용하며, 이는 폐쇄형 베이지안 업데이트를 허용한다.
• 모델의 사후분포에서 샘플을 추출함으로써 탐색을 위한 톰슨 샘플링을 적용하여 탐색과 이용의 최적 균형을 도모한다.
• 가치 함수 추정치로부터 정책을 계산하기 위해 모델을 근사 동적 프로그래밍(ADP)과 통합한다.
• 커버 트리의 각 리프 노드마다 다변량 선형 모델을 사용해 국소적 동역학과 보상을 표현한다.
• 새로운 전이가 관측될 때마다 모델을 점진적으로 업데이트함으로써 온라인 학습을 지원하며, 계산 효율성을 유지한다.

실험 결과

연구 질문

• RQ1 데이터에 의존하는 구조를 가진 비모수 베이지안 모델이 연속 상태 강화학습에서 샘플 효율성을 향상시킬 수 있는가?
• RQ2 커버 트리 파artition를 기반으로 한 조각별 선형 모델과 톰슨 샘플링을 조합했을 때의 성능은 어떠한가?
• RQ3 가우시안 프로세스와 비교해 고차원 상태 공간에서 커버 트리 구조가 확장 가능한 추론을 가능하게 하는가?
• RQ4 선형 모델과 GP 기반 강화학습과 비교했을 때 CTBRL의 안정성과 누적 보상 측면에서의 성능은 어떠한가?
• RQ5 GP 사후분포에서 직접 기능 샘플링이 불가능한 상황에서도, CTBRL은 온라인 및 오프라인 설정 모두에서 우수한 성능을 유지할 수 있는가?

주요 결과

• CTBRL는 온라인 및 오프라인 벤치마크 과제에서 가우시안 프로세스 기반 강화학습, 선형 베이지안 모델, LSPI를 일관되게 능가했다.
• 특히 온라인 설정에서 경쟁 모델들보다 훨씬 높은 누적 보상과 더 높은 안정성을 달성했다.
• CTBRL와 함께 사용된 톰슨 샘플링은 오프라인 실험에서 이론적으로 열세를 가졌음에도 불구하고, 뛀난 탐색 성능을 보였다.
• 선형 모델 베이스라인은 GP-RL과 CTBRL보다 열등한 성능을 보였으며, 성공의 핵심은 커버 트리 구조이지 선형 모델이었음을 시사한다.
• 커버 트리 추론의 로그 시간 복잡도 덕분에 고차원 공간에서도 확장성과 효율성을 입증했다.
• 직접 GP 사후분포에서의 샘플링이 불가능한 상황에서도 CTBRL는 여전히 GP 기반 모델을 능가했으며, 이는 모델 구조와 추론 효율성의 이점 때문임을 시사한다.