[논문 리뷰] The Mirage of Action-Dependent Baselines in Reinforcement Learning

George Tucker, Surya Bhupatiraju외 4명|arXiv (Cornell University)|2018. 02. 27.

Reinforcement Learning in Robotics참고 문헌 36인용 수 45

한 줄 요약

이 논문은 정책 그래디언트 분산을 분해하고 학습된 상태- 행동 의존 기저가 상태 의존 기저에 비해 일반 벤치마크에서 분산을 실질적으로 감소시키지 못한다는 것을 보여주며, 구현으로 인한 바이어스와 수평선 인식 가능한 값 함수(horizon-aware value functions)를 실용적인 개선으로 제시한다.

ABSTRACT

Policy gradient methods are a widely used class of model-free reinforcement learning algorithms where a state-dependent baseline is used to reduce gradient estimator variance. Several recent papers extend the baseline to depend on both the state and action and suggest that this significantly reduces variance and improves sample efficiency without introducing bias into the gradient estimates. To better understand this development, we decompose the variance of the policy gradient estimator and numerically show that learned state-action-dependent baselines do not in fact reduce variance over a state-dependent baseline in commonly tested benchmark domains. We confirm this unexpected result by reviewing the open-source code accompanying these prior papers, and show that subtle implementation decisions cause deviations from the methods presented in the papers and explain the source of the previously observed empirical gains. Furthermore, the variance decomposition highlights areas for improvement, which we demonstrate by illustrating a simple change to the typical value function parameterization that can significantly improve performance.

연구 동기 및 목표

• 정책 그래디언트 방법에서 상태-액션 의존 기저의 분산 감소에 대한 정확한 이해를 촉진한다.
• 분산 감소가 현실적으로 발생할 수 있는 지점을 식별하기 위해 정책 그래디언트 분산을 분해한다.
• 합성 및 벤치마크 과제에서 분산 구성요소를 평가하여 상태-액션 의존 기저의 실용적 이점을 판단한다.

제안 방법

• 상태-액션 의존 기저(Eq. 2 및 Eq. 3)를 포함한 정책 그래디언트 추정기의 분산 분해를 제공한다.
• Sigma_tau, Sigma_a, Sigma_s 분산 항을 분석하고 Sigma_a가 영향력을 발휘하는 조건을 식별한다.
• 호텔로 측정된 LQG 및 연속 제어 과제에서 오로와 학습된 기저를 사용해 분산 구성요소를 경험적으로 측정한다.
• 바이어스를 유발하는 구현 세부사항을 식별하기 위해 오픈 소스 구현을 검토한다.
• 유한-수평 작업에 더 잘 맞도록 수평선 인식 값 함수 매개변수를 제시한다.

실험 결과

연구 질문

• RQ1 학습된 상태-액션 의존 기저가 벤치마크 과제에서 상태 의존 기저보다 정책 그래디언트 분산을 더 감소시키는가?
• RQ2 다양한 과제와 추정기에 걸쳐 분산 구성요소(Sigma_tau, Sigma_a, Sigma_s)의 상대적 크기는 얼마나 되는가?
• RQ3 구현 세부사항 및 값 함수 근사화가 액션 의존 기저의 관찰된 이점에 어떤 영향을 주는가?
• RQ4 수평선 인식 값 함수가 편향 없이 그래디언트 추정을 개선하는 실용적 개선을 제공할 수 있는가?

주요 결과

• 학습된 상태-액션 의존 기저가 테스트된 과제에서 학습된 상태 의존 기저에 비해 분산을 실질적으로 감소시키지 못한다.
• 상태-액션 의존 기저에 의해 감소된 분산은 종종 가치 함수 근사기와 기저 자체의 분산에 의해 지배된다.
• 일부 보고된 액션 의존 기저의 이점은 구현 선택으로 인해 바이어스가 도입되어 편향 없는 분산 감소가 아니라는 점에서 비롯된다.
• V(s) 및 φ(s,a)의 함수 근사 차이가 일반적인 벤치마크에서 기저의 액션 의존성보다 분산에 더 크게 기여한다.
• 수평선 인식 값 함수 매개변수화는 실험에서 베이스라인에 비해 성능 개선을 보인다.
• 현재 방법 하에서 액션 의존 기저를 채택하는 것보다 값 함수 근사를 개선하는 것이 분산 감소에 더 유망한 경로이다.