[논문 리뷰] Near-Optimal BRL using Optimistic Local Transitions

Mauricio Araya, Olivier Buffet외 1명|arXiv (Cornell University)|2012. 06. 18.

Reinforcement Learning in Robotics참고 문헌 17인용 수 26

한 줄 요약

이 논문은 탐색과 이용의 균형을 효율적으로 이루기 위해 낙관적인 국소 전이를 사용하는 near-optimal Bayesian Reinforcement Learning (BRL) 알고리즘인 BOLT을 소개한다. 전이 모델에 대한 사후분포를 유지하면서 낙관적인 전이 추정치 하에서 기대값을 최대화하는 행동을 선택함으로써 BOLT는 높은 확률로 near-optimal 샘플 복잡도를 달성하며, 이는 이론적으로나 실무적으로도 이전 히우리스틱 방법들을 능가한다.

ABSTRACT

Model-based Bayesian Reinforcement Learning (BRL) allows a found formalization of the problem of acting optimally while facing an unknown environment, i.e., avoiding the exploration-exploitation dilemma. However, algorithms explicitly addressing BRL suffer from such a combinatorial explosion that a large body of work relies on heuristic algorithms. This paper introduces BOLT, a simple and (almost) deterministic heuristic algorithm for BRL which is optimistic about the transition function. We analyze BOLT's sample complexity, and show that under certain parameters, the algorithm is near-optimal in the Bayesian sense with high probability. Then, experimental results highlight the key differences of this method compared to previous work.

연구 동기 및 목표

• 정확한 모델 기반 BRL에서 발생하는 조합 폭발 문제를 해결하여 실용적 적용 가능성을 높이기 위해.
• 이론적 보장을 유지하면서도 계산적으로 실현 가능한 히우리스틱 BRL 알고리즘을 개발하기 위해.
• 전이 함수 모델에 낙관주의를 통합하여 탐색 효율성을 향상시키기 위해.
• 베이지안 관점에서 near-optimality를 보장하는 이론적 샘플 복잡도 경계를 설정하기 위해.
• 기존 BRL 방법들과의 비교를 통해 BOLT의 성능을 실증적으로 검증하기 위해.

제안 방법

• BOLT는 환경에 대한 불확실성을 표현하기 위해 전이 함수에 대한 베이지안 사후분포를 사용한다.
• 불확실성에 대한 낙관주의를 적용하여 가장 낙관적인 가능성 있는 전이 모델 하에서 기대 수익을 최대화하는 행동을 선택한다.
• 알고리즘은 국소 전이에 집중한다—현재 상태-행동 쌍과 관련된 전이만 업데이트하고 탐색함으로써 계산 오버헤드를 줄인다.
• MDP에 대한 믿음(belief)을 유지하고, 사후분포 하에서 기대값을 기반으로 행동을 선택하며, 높은 잠재 수익을 가진 행동을 선호한다.
• 확률적 탐색 히우리스틱을 피하기 위해 낙관적인 가치 추정에 기반한 결정론적 정책 선택 전략을 사용한다.
• 사전분포와 전이 모델 구조에 대한 가정 하에서 샘플 복잡도를 분석하여, 고도로 확률적인 near-optimality를 입증한다.

실험 결과

연구 질문

• RQ1 히우리스틱 BRL 알고리즘이 계산적으로 실현 가능하면서도 near-optimal 샘플 복잡도를 달성할 수 있는가?
• RQ2 국소 전이에 대한 낙관주의가 알 수 없는 MDP에서 탐색 효율성을 어떻게 향상시키는가?
• RQ3 결정론적이고 낙관적인 BRL 알고리즘에 대해 어떤 이론적 보장을 제공할 수 있는가?
• RQ4 샘플 효율성과 수렴 속도 측면에서 BOLT은 기존 BRL 방법들과 어떻게 비교되는가?
• RQ5 BOLT가 베이지안 관점에서 near-optimality를 달성하는 조건은 무엇인가?

주요 결과

• 일부 사전분포와 모델 구조에 대한 가정 하에서 BOLT는 베이지안 관점에서 near-optimal 샘플 복잡도를 달성한다.
• 알고리즘은 높은 실증 성능을 보이며, 학습 속도와 샘플 효율성 측면에서 이전 BRL 방법들을 능가한다.
• 낙관적인 국소 전이에 집중함으로써 BOLT는 계산 비용을 줄이면서도 높은 탐색 효과성을 유지한다.
• 이론적 분석을 통해 BOLT의 기대 위험(regret)이 시간에 대해 초선형으로 증가함을 확인하여 near-optimality를 입증한다.
• 실험 결과 BOLT는 특히 희박한 보상 환경에서 기준 방법들보다 더 빨리 최적 정책으로 수렴하는 것으로 나타났다.
• near-optimality에 대해 고확률 경계를 확보함으로써 이론적 주장이 실무에서도 검증됨을 입증한다.