[논문 리뷰] A Greedy Approximation of Bayesian Reinforcement Learning with Probably Optimistic Transition Model

Kenji Kawaguchi, Mauricio Araya|arXiv (Cornell University)|2013. 03. 13.

Reinforcement Learning in Robotics참고 문헌 17인용 수 7

한 줄 요약

이 논문은 매개변수 설정에 관계없이 강건한 성능을 달성하기 위해 '가능성이 높은 낙관적' 전이 모델을 사용하는 베이지안 강화학습의 근사 방법을 제안한다. 이 방법은 다항 수준의 샘플 복잡도를 확보하며, 사전 분포가 합리적으로 정확할 경우 기존 알고리즘을 능가하지만, 탐색의 탐욕성으로 인해 심각한 사전 분포 오류가 발생할 경우 성능이 떨어진다.

ABSTRACT

Bayesian Reinforcement Learning (RL) is capable of not only incorporating domain knowledge, but also solving the exploration-exploitation dilemma in a natural way. As Bayesian RL is intractable except for special cases, previous work has proposed several approximation methods. However, these methods are usually too sensitive to parameter values, and finding an acceptable parameter setting is practically impossible in many applications. In this paper, we propose a new algorithm that greedily approximates Bayesian RL to achieve robustness in parameter space. We show that for a desired learning behavior, our proposed algorithm has a polynomial sample complexity that is lower than those of existing algorithms. We also demonstrate that the proposed algorithm naturally outperforms other existing algorithms when the prior distributions are not significantly misleading. On the other hand, the proposed algorithm cannot handle greatly misspecified priors as well as the other algorithms can. This is a natural consequence of the fact that the proposed algorithm is greedier than the other algorithms. Accordingly, we discuss a way to select an appropriate algorithm for different tasks based on the algorithms' greediness. We also introduce a new way of simplifying Bayesian planning, based on which future work would be able to derive new algorithms.

연구 동기 및 목표

• 기존의 베이지안 강화학습 근사 방법이 하이퍼파rameter 설정에 민감한 문제를 해결하기 위해.
• 매개변수 공간에서 강건성을 유지하는 탐욕적 근사 방법을 개발하기 위해.
• 기존 방법보다 낮은 샘플 복잡도를 확보하면서도 정확한 사전 분포 조건에서 뛰어난 성능을 유지를 하기 위해.
• 탐욕성과 강건성 간의 상충 관계를 분석하기 위해.
• 향후 알고리즘 개발을 가능하게 하는 단순화된 프레임워크를 제안하기 위해.

제안 방법

• 불확실성 하에서 가장 가능성 있는 전이 동역학을 선택하여 '가능성이 높은 낙관적' 전이 모델을 구성한다.
• 낙관적 모델에 기반해 기대 수익이 높은 행동을 우선시하는 탐욕적 정책 선택 전략을 사용한다.
• 전이 확률에 대한 신뢰구간을 통해 탐색 스텝 수를 제한함으로써 다항 수준의 샘플 복잡도를 보장한다.
• 베이지안 업데이트를 통해 사전 지식을 통합하지만, 사전 분포 오류에 민감도를 낮추기 위해 탐욕 히우리스틱을 적용한다.
• 가장 가능성 있는 전이에 집중함으로써 계산 오버헤드를 줄여 베이지안 계획의 단순화를 이룬다.
• 세밀하게 캘리브레이션된 하이퍼파rameter에 의존하지 않도록 하여 매개변수 설정에 강건하도록 설계된다.

실험 결과

연구 질문

• RQ1 어떻게 하이퍼파rameter 조정에 민감하지 않은 방식으로 베이지안 강화학습을 근사할 수 있는가?
• RQ2 '가능성이 높은 낙관적' 전이 모델을 사용하는 탐욕적 베이지안 강화학습 근사의 샘플 복잡도는 무엇인가?
• RQ3 정확한 사전 분포 조건에서 제안된 알고리즘이 기존 방법과 비교해 어떻게 성능을 발휘하는가?
• RQ4 탐욕성은 얼마나 심각하게 잘못된 사전 분포를 처리하는 능력을 제한하는가?
• RQ5 향후 알고리즘 향상에 기여할 수 있는 단순화된 베이지안 계획 프레임워크를 유도할 수 있는가?

주요 결과

• 제안된 알고리즘은 기존의 베이지안 강화학습 근사 방법보다 낮은 다항 수준의 샘플 복잡도를 확보한다.
• 사전 분포가 크게 잘못되지 않은 조건에서는 다른 기존 알고리즘보다 뛰어난 성능을 발휘한다.
• 기대한 바와 같이 탐욕적 성향으로 인해 심각하게 잘못된 사전 분포 조건에서는 성능이 저하된다.
• 매개변수 설정에 강건함을 보이며, 실세계 적용에 더 실용적임을 입증한다.
• 탐욕적 근사로 효율적인 계산을 가능하게 하면서도 유리한 사전 조건 하에서 강력한 학습 성능을 유지한다.
• 향후 알고리즘 개발의 기초가 될 수 있는 새로운 베이지안 계획 단순화를 제안한다.