[논문 리뷰] Robust Bayesian reinforcement learning through tight lower bounds

Christos Dimitrakakis|arXiv (Cornell University)|2011. 06. 18.

Reinforcement Learning in Robotics참고 문헌 26인용 수 4

한 줄 요약

이 논문은 MDP의 신뢰도 분포에 대해 메모리 없는 정책을 근사하는 데 효과적인 강력한 베이지안 강화 학습을 위한 새로운 방법을 제안한다. 이 방법은 역순 추론 알고리즘(MMBI)과 그 확률적 변형(MSBI)을 사용하여 가치 함수에 대한 날카운 빈도 하한을 계산한다. 이는 표본 수가 증가할수록 기존의 표준 베이지안 RL 방법들인 MCBRL과 $\varsigma$-최적 정책보다 뛰어난 성능을 보이며, 더 날카운 하한과 더 나은 탐색 전략 덕분이다.

ABSTRACT

In the Bayesian approach to sequential decision making, exact calculation of the (subjective) utility is intractable. This extends to most special cases of interest, such as reinforcement learning problems. While utility bounds are known to exist for this problem, so far none of them were particularly tight. In this paper, we show how to efficiently calculate a lower bound, which corresponds to the utility of a near-optimal memoryless policy for the decision problem, which is generally different from both the Bayes-optimal policy and the policy which is optimal for the expected MDP under the current belief. We then show how these can be applied to obtain robust exploration policies in a Bayesian reinforcement learning setting.

연구 동기 및 목표

• MDP의 신뢰도 분포 하에서 베이지안 강화 학습에서 베이즈 최적 정책을 계산하는 데의 비가역성 문제를 해결하기 위해.
• 메모리 없는 정책에 대한 가치 함수에 대한 날카운 하한을 제공하는 계산적으로 효율적인 방법을 개발하기 위해.
• 이러한 하한을 활용하여 정책 선택을 안내함으로써 베이지안 강화 학습에서 강력한 탐색을 가능하게 하기 위해.
• 기존의 샘플 기반 베이지안 강화 학습 접근법을 다수의 MDP 샘플과 더 날카운 정책 평가를 통해 일반화하기 위해.
• 제안된 방법이 벤치마크 작업에서 기대 MDP 히우리스틱과 기본 베이지안 강화 학습 알고리즘보다 뛰어난 성능을 보임을 입증하기 위해.

제안 방법

• 메모리 없는 정책에 대한 가치 함수에 대한 하한을 계산하기 위해 MDP의 신뢰도 분포 하에서 작동하는 역순 추론 절차인 MMBI(Memoryless Maximum Belief Induction)를 도입한다.
• MMBI의 랜덤화된 변형인 MSBI(Stochastic MMBI)를 개발하여, MMBI에 비해 다항적으로 유한한 간격을 가지며 기대값으로 하한을 제공한다.
• 신뢰도 분포에서 정기적으로 다수의 MDP를 샘플링하는 MCBRL 알고리즘에 MMBI/MSBI 정책을 강력한 탐색 전략으로 통합한다.
• 하한을 활용하여 행동 선택을 안내함으로써, 기대 MDP에 의존하는 것이 아니라 메모리 없는 정책 중 근사 최적 정책을 확보한다.
• 유한한 MDP 집합에 대해 역순 추론 과정을 적용하여 가치 함수와 정책 추정치를 효율적으로 계산한다.
• 정책이 MDP의 점추정치가 아니라 날카운 하한에 기반하여 업데이트되는 베이지안 강화 학습 프레임워크에 이 방법을 통합한다.

실험 결과

연구 질문

• RQ1 MDP의 신뢰도 분포 하에서 메모리 없는 정책에 대한 가치 함수에 대해 날카운 하한을 계산할 수 있는가?
• RQ2 MMBI/MSBI 정책의 성능은 베이즈 최적 정책과 기대 MDP에 최적화된 정책과 비교해 어떻게 되는가?
• RQ3 제안된 방법은 기존의 샘플 기반 접근법에 비해 탐색과 전체 학습 성능 향상에 기여하는가?
• RQ4 MMBI 정책과 진정한 베이즈 최적 정책 사이의 계산적 및 통계적 간격은 얼마인가?
• RQ5 신뢰도 분포 내에서 샘플된 MDP의 수를 늘리면 더 날카운 하한과 더 나은 성능을 얻을 수 있는가?

주요 결과

• 특히 불확실한 환경에서, 기대 MDP에 최적화된 정책($\hat{\mu}_{\xi}$)보다 MMBI 정책이 가치 함수에 대해 훨씬 날카운 하한을 제공한다.
• 체인 작업에서 제안된 방법(알고리즘 4)은 1000단계 동안 평균 총 보상 3287을 기록했으며, $n=1$일 때 MCBRL(3166)과 $n=8$일 때(3358)를 초월했고, Beetle 및 AMP-EM과 같은 더 복잡한 알고리즘의 성능에 가까워졌다.
• MDP 샘플 수($n$)가 1에서 16으로 증가함에 따라 총 보상은 3166에서 3376으로 향상되었으며, 더 많은 샘플로 인한 더 날카운 하한의 이점이 입증되었다.
• 에이전트가 열악한 상태에 갇힐 경우의 런 수가 총 런 수의 1% 미만으로 감소하여, 이는 강건성과 신뢰할 수 있는 성능을 나타낸다.
• 이론적으로 유한한 간격을 가지며 샘플 수에 다항적으로 의존하는 바, MMBI 정책은 $\hat{\mu}_{\xi}$-최적 정책보다 베이즈 최적 정책에 더 가까이 있다.
• MSBI 알고리즘은 MMBI에 비해 다항적으로 증가하는 간격을 가지며 기대값으로 하한을 제공하므로, 확장성과 실용성이 뛰어나다.