[논문 리뷰] Variance-Based Rewards for Approximate Bayesian Reinforcement Learning

Jonathan Sorg, Satinder Singh외 1명|arXiv (Cornell University)|2012. 03. 15.

Reinforcement Learning in Robotics참고 문헌 5인용 수 9

한 줄 요약

이 논문은 환경에 대한 사후 불확실성에 기반한 분산 기반 보상 보너스를 제안하여 근사 베이지안 강화학습에서 탐색을 향상시킨다. 평균 MDP에서 계획을 수행할 때 사후 분포의 분산을 보상 함수에 통합함으로써, 특히 구조적 사전 분포를 사용할 경우 효율적이고 효과적인 탐색을 달성하며, 실증적으로 구조적 탐색 작업에서의 성과 향상을 보이며 다항 수렴 복잡도를 입증한다.

ABSTRACT

The explore{exploit dilemma is one of the central challenges in Reinforcement Learning (RL). Bayesian RL solves the dilemma by providing the agent with information in the form of a prior distribution over environments; however, full Bayesian planning is intractable. Planning with the mean MDP is a common myopic approximation of Bayesian planning. We derive a novel reward bonus that is a function of the posterior distribution over environments, which, when added to the reward in planning with the mean MDP, results in an agent which explores efficiently and effectively. Although our method is similar to existing methods when given an uninformative or unstructured prior, unlike existing methods, our method can exploit structured priors. We prove that our method results in a polynomial sample complexity and empirically demonstrate its advantages in a structured exploration task.

연구 동기 및 목표

• 베이지안 강화학습에서 탐색 효율성을 향상시켜 탐색-이용 딜레마를 해결하기 위해.
• 완전한 베이지안 계획법의 비효율적인 추론을 피하면서도 확장 가능한 근사 방법을 개발하기 위해.
• 기존 방법이 사전 분포를 정보가 없는 것으로 간주하는 것과는 달리, 구조적 사전 분포를 탐색에 효과적으로 활용할 수 있도록 하기 위해.
• 강력한 실증 성능을 유지하면서도 다항 수렴 복잡도를 달성하기 위해.
• 실용적이고 분산 기반의 보너스를 제공하여 평균 MDP와의 계획을 향상시키기 위해.

제안 방법

• 이 방법은 환경에 대한 사후 분산에서 유도된 보상 보너스를 도입하여 MDP 파라미터의 불확실성을 정량화한다.
• 이 분산 기반 보너스는 평균 MDP에서의 계획 과정 동안 보상 신호에 추가되어, 불확실한 상태-행동 쌍을 탐색하도록 유도한다.
• 에이전트는 각 상호작용 후 베이지안 추론을 통해 MDP에 대한 사후 분포를 유지하는 베이지안 프레임워크를 사용한다.
• 보너스는 MDP의 사후 분포에 따른 기대 수익의 분산을 사용하여 계산되며, 높은 불확실성 영역에서의 탐색을 촉진한다.
• 이 방법은 전체 베이지안 계획법을 피하면서도 이론적 보장을 유지하면서 계산적으로 효율적이다.
• 값 반복 또는 Q-러닝과 같은 기존 계획 알고리즘에 보상 함수를 수정하는 방식으로 자연스럽게 통합된다.

실험 결과

연구 질문

• RQ1 분산 기반 보상 보너스는 베이지안 강화학습에서 탐색 효율성을 향상시킬 수 있는가?
• RQ2 구조적 사전 분포가 제공될 경우, 비구조적 또는 정보가 없는 사전 분포와 비교해 이 방법의 성능은 어떠한가?
• RQ3 제안된 방법은 강력한 실증 성능을 유지하면서도 다항 수렴 복잡도를 유지하는가?
• RQ4 구조적 탐색 작업에서 기존의 보너스 기반 탐색 방법보다 성능이 뛰어나게 되는가?
• RQ5 탐색 유도에 있어 분산 기반 보너스가 평균 기반 또는 엔트로피 기반 보너스보다 더 효과적인가?

주요 결과

• 제안된 방법은 다항 수렴 복잡도를 달성하여 학습 효율성에 대한 이론적 보장을 제공한다.
• 실증 결과는 특히 사전 분포가 의미 있는 환경적 구조를 반영할 경우 구조적 탐색 작업에서 뛰어난 성능을 보임을 보여준다.
• 비구조적 또는 정보가 없는 사전 분포를 사용하는 기준 방법들보다 성능이 뛰어나며, 특히 복잡한 의존성 구조를 가진 환경에서 두드러진다.
• 분산 기반 보너스는 사후 분산으로 측정된 높은 불확실성 영역에 집중함으로써 더 효과적인 탐색을 이끌어낸다.
• 전체 베이지안 계획법을 피하면서도 사후 정보를 활용함으로써 계산 가능성을 유지한다.
• 다양한 사전 구조에 대해 잘 일반화되어 있어, 다양한 환경에서 강건성과 적응성을 입증한다.