[논문 리뷰] The Optimal Reward Baseline for Gradient-Based Reinforcement Learning

Lex Weaver, Nigel Tao|arXiv (Cornell University)|2013. 01. 10.

Reinforcement Learning in Robotics참고 문헌 12인용 수 164

한 줄 요약

이 논문은 경사 기반 강화학습에서 정책 그래디언트 분산을 최소화하면서 편향을 유도하지 않는 최적의 일정 보상 기준을 제안한다. 기준을 현재 정책 하에서 장기적인 평균 기대 보상과 동일하게 설정함으로써, 그래디언트 추정기의 분산을 크게 감소시켜 표본 효율성과 수렴 속도를 향상시킨다. 이는 표준 벤치마크에서의 실험을 통해 검증되었다.

ABSTRACT

There exist a number of reinforcement learning algorithms which learnby climbing the gradient of expected reward. Their long-runconvergence has been proved, even in partially observableenvironments with non-deterministic actions, and without the need fora system model. However, the variance of the gradient estimator hasbeen found to be a significant practical problem. Recent approacheshave discounted future rewards, introducing a bias-variance trade-offinto the gradient estimate. We incorporate a reward baseline into thelearning system, and show that it affects variance without introducingfurther bias. In particular, as we approach the zero-bias,high-variance parameterization, the optimal (or variance minimizing)constant reward baseline is equal to the long-term average expectedreward. Modified policy-gradient algorithms are presented, and anumber of experiments demonstrate their improvement over previous work.

연구 동기 및 목표

• 안정적인 강화학습 에이전트를 훈련시키는 데 있어 주요 장애물인 정책 그래디언트 추정기의 높은 분산을 줄이기 위해.
• 편향 없는 학습을 유지하면서 그래디언트 추정의 분산을 최소화하는 보상 기준을 특정하기 위해.
• 현재 정책 하에서 장기적인 평균 기대 보상과 동일한 최적의 기준이 되는 것을 입증하기 위해.
• 최적의 기준을 통합한 수정된 정책 그래디언트 알고리즘을 개발하고 평가하기 위해.
• 표본 효율성과 수렴 속도를 표본화 및 함수 근사 설정 모두에서 향상시키기 위해.

제안 방법

• 정책 그래디언트 목적함수에 일정 보상 기준을 도입하여 그래디언트 추정기의 분산을 줄이기 위해.
• 현재 정책 하에서 장기적인 평균 기대 보상을 최적의 기준으로 도출하여 분산을 최소화하기 위해.
• 정책 그래디언트 정리(theorem)를 활용하여 이 기준이 기대 그래디언트에 편향을 유도하지 않음을 보여주기 위해.
• REINFORCE with baseline와 같은 수정된 정책 그래디언트 알고리즘에 기준을 적용하기 위해.
• 기준을 현재 정책 하에서의 수익의 누적 평균을 사용하여 장기적인 평균을 근사하기 위해 경사 기반 업데이트 규칙을 적용하기 위해.
• 표본화 및 함수 근사 정책을 사용한 격자도메인 및 마운틴카 환경에서의 실험을 통해 방법을 검증하기 위해.

실험 결과

연구 질문

• RQ1 편향을 유도하지 않으면서 정책 그래디언트 추정기의 분산을 최소화하는 일정 보상 기준은 무엇인가?
• RQ2 최적의 기준은 현재 정책 하에서 장기적인 평균 기대 보상과 어떻게 관련이 있는가?
• RQ3 최적의 기준을 통합하면 정책 그래디언트 방법의 표본 효율성과 수렴 속도가 향상되는가?
• RQ4 최적의 기준은 다양한 환경과 정책 표현 방식에서 효과를 유지하는가?
• RQ5 최적의 기준이 다른 기준 전략(예: 상태에 의존하는 기준 또는 기준 없음)보다 분산 감소 효과가 얼마나 뛰어난가?

주요 결과

• 분산을 최소화하는 최적의 일정 보상 기준은 현재 정책 하에서 장기적인 평균 기대 보상과 동일하다.
• 이 기준을 통합함으로써 그래디언트 분산이 크게 감소하여 표본화 및 함수 근사 설정 모두에서 수렴 속도 향상과 표본 효율성 향상이 이루어진다.
• 기준이 기대 그래디언트에 영향을 주지 않기 때문에 편향 없는 학습을 유지하며, 이는 이론적 수렴 보장을 유지한다.
• 격자도메인 및 마운틴카 환경에서의 실험 결과, 기준 없음 또는 열등한 기준을 사용한 경우에 비해 학습 속도와 안정성이 일관되게 향상됨을 보였다.
• 높은 분산이 학습을 방해하는 초기 학습 단계에서 분산 감소 효과가 가장 두드러진다.
• 최적의 기준은 다양한 정책 표현 방식에 대해 강건하며, 추가적인 함수 근사나 복잡한 적응이 필요하지 않다.