[논문 리뷰] A Bayesian Sampling Approach to Exploration in Reinforcement Learning

John Asmuth, Lihong Li외 3명|arXiv (Cornell University)|2012. 05. 09.

Reinforcement Learning in Robotics참고 문헌 17인용 수 153

한 줄 요약

이 논문은 강화학습에서 탐색을 위한 베이지안 샘플링 접근법인 BOSS를 제안한다. BOSS는 사후 분포에서 샘플된 모델들의 집합에서 최고의 성능을 기반으로 동작을 선택한다. 동적으로 재샘플링하고 모델을 조합함으로써 BOSS는 낮은 샘플 복잡도로 near-optimal 보상에 도달하며, 최신 기술을 능가하면서도 비모수 모델과도 유연하게 통합된다.

ABSTRACT

We present a modular approach to reinforcement learning that uses a Bayesian representation of the uncertainty over models. The approach, BOSS (Best of Sampled Set), drives exploration by sampling multiple models from the posterior and selecting actions optimistically. It extends previous work by providing a rule for deciding when to resample and how to combine the models. We show that our algorithm achieves nearoptimal reward with high probability with a sample complexity that is low relative to the speed at which the posterior distribution converges during learning. We demonstrate that BOSS performs quite favorably compared to state-of-the-art reinforcement-learning approaches and illustrate its flexibility by pairing it with a non-parametric model that generalizes across states.

연구 동기 및 목표

• 강화학습에서 탐색-이용 갈등을 원칙적인 베이지안 접근법을 통해 해결하기 위해.
• 모델 샘플링을 통한 효율적이고 적응적인 탐색을 가능하게 하는 모듈러 프레임워크를 개발하기 위해.
• 학습 중 높은 확률로 near-optimal 성능를 유지하면서 샘플 복잡도를 줄이기 위해.
• 상태 간 일반화를 향상시키기 위해 비모수 모델과의 호환성을 보장하기 위해.
• 학습 효율성을 향상시키기 위해 불확실성과 모델 신뢰도에 따라 동적으로 재샘플링 및 모델 조합을 위한 규칙을 제공하기 위해.

제안 방법

• 환경 동역학에 대한 사후 분포에서 다수의 모델을 샘플링한다.
• 샘플된 집합 내에서 예상 수익이 가장 높은 모델을 기반으로 동작를 선택한다 (낙관적 선택).
• 불확실성과 학습 진전 정도를 바탕으로 샘플된 모델 집합을 언제 갱신할지 결정하는 재샘플링 규칙을 도입한다.
• 행동 선택의 분산을 줄이고 강건성을 향상시키기 위해 샘플된 모델들을 가중치 기반 융합 전략으로 조합한다.
• 다양한 함수 근사기(비모수 모델 포함)와의 통합이 가능하도록 모듈러하게 설계되어 있다.
• 사후 수렴 속도에 비해 낮은 샘플 복잡도로 높은 확률로 near-optimal 정책으로 수렴함을 보장한다.

실험 결과

연구 질문

• RQ1 베이지안 샘플링은 강화학습에서 탐색과 이용을 효과적으로 균형 잡는 데 어떻게 활용될 수 있는가?
• RQ2 사후 샘플링 프레임워크에서 언제 모델을 재샘플링할지 결정하는 기준은 무엇인가?
• RQ3 BOSS 알고리즘의 샘플 효율성과 누적 손실 측면에서 최신 기술 탐색 전략과의 성능 비교는 어떠한가?
• RQ4 비모수 모델과 효과적으로 조합하여 상태 간 일반화를 달성할 수 있는가?
• RQ5 알고리즘의 이론적 샘플 복잡도는 사후 수렴 속도에 비해 어떻게 되는가?

주요 결과

• 제한된 데이터와 불확실성 조건에서도 BOSS는 높은 확률로 near-optimal 보상을 달성한다.
• 알고리즘은 낮은 샘플 복잡도를 보이며, 사후 수렴 속도에 따라 유리하게 스케일링된다.
• 실증 평가에서 BOSS는 최신 기술 강화학습 접근법을 능가한다.
• 비모수 모델과 조합해도 효과적이며, 상태 간 일반화를 가능하게 한다.
• 동적 재샘플링 규칙은 불확실성과 모델 신뢰도 변화에 적응함으로써 학습 효율성을 향상시킨다.
• 이론적 분석을 통해 알고리즘이 최소한의 샘플 요구량으로도 높은 확률의 성능 보장을 유지함을 확인했다.