[논문 리뷰] META-Learning State-based Eligibility Traces for More Sample-Efficient Policy Evaluation

Mingde Zhao, Sitao Luan외 3명|arXiv (Cornell University)|2019. 04. 25.

Reinforcement Learning in Robotics인용 수 7

한 줄 요약

이 논문은 표본 효율성을 향상시키기 위해 시간차분 학습에서 상태 또는 특징 기반의 유연성 추적 파라미터(λ)를 적응적으로 조정하는 메타학습 방법인 META를 제안한다. 보조 학습기(learner)를 사용해 타겟 통계를 실시간으로 추정하고, 최소한의 계산 오버헤드로 λ 값을 점진적으로 업데이트함으로써 META는 타겟 오차를 감소시키고, 함수 근사와 함께 온-폴리시 및 오프-폴리시 설정 모두에서 학습 속도와 강인성을 향상시킨다.

ABSTRACT

Temporal-Difference (TD) learning is a standard and very successful reinforcement learning approach, at the core of both algorithms that learn the value of a given policy, as well as algorithms which learn how to improve policies. TD-learning with eligibility traces provides a way to boost sample efficiency by temporal credit assignment, i.e. deciding which portion of a reward should be assigned to predecessor states that occurred at different previous times, controlled by a parameter $\\lambda$. However, tuning this parameter can be time-consuming, and not tuning it can lead to inefficient learning. For better sample efficiency of TD-learning, we propose a meta-learning method for adjusting the eligibility trace parameter, in a state-dependent manner. The adaptation is achieved with the help of auxiliary learners that learn distributional information about the update targets online, incurring roughly the same computational complexity per step as the usual value learner. Our approach can be used both in on-policy and off-policy learning. We prove that, under some assumptions, the proposed method improves the overall quality of the update targets, by minimizing the overall target error. This method can be viewed as a plugin to assist prediction with function approximation by meta-learning feature (observation)-based $\\lambda$ online, or even in the control case to assist policy improvement. Our empirical evaluation demonstrates significant performance improvements, as well as improved robustness of the proposed algorithm to learning rate variation.

연구 동기 및 목표

• TD(λ) 학습에서 하이퍼파rameter 민감성 문제를 해결하기 위해, 특히 최적의 표본 효율성을 확보하기 위해 λ를 조정하는 데 어려움이 있음을 해결한다.
• 계산 복잡도를 증가시키지 않으면서도 상태 간에 동적으로 효율적으로 λ를 적응시키는 방법을 개발한다.
• 함수 근사와 함께 온-폴리시 및 오프-폴리시 강화학습 모두에서 유연성 추적을 효과적으로 활용할 수 있도록 한다.
• 고정 또는 히우리스틱 기반의 λ 값에 의존하지 않고 전체 타겟 오차를 최적화하는 메타학습 프레임워크를 설계한다.

제안 방법

• META는 각 상태 또는 특징 표현에 대해 최적의 λ를 추정하기 위해 수익 타겟의 온라인 통계를 추적하는 보조 학습기를 사용한다.
• 이 방법은 추정된 타겟 오차를 바탕으로 λ 값을 점진적으로 조정하여 표준 TD(λ)와 유사한 계산 효율성을 확보한다.
• λ의 적응을 메타 최적화 문제로 공식화하여 업데이트 타겟의 기대 제곱 오차를 직접 최소화한다.
• 이 접근법은 온-폴리시 및 오프-폴리시 학습 모두를 지원하며, 함수 근사 및 적응형 학습률과 통합된다.
• 안정성을 유지하기 위해 각 업데이트 후 λ 값을 [0,1] 범위로 클리핑하여 발산을 방지한다.

실험 결과

연구 질문

• RQ1 고정된 λ와 비교해 상태 기반 λ 적응이 TD 학습에서 표본 효율성을 향상시키는가?
• RQ2 λ 값의 온라인 메타학습이 타겟 오차를 감소시키고 가치 예측 작업의 수렴 속도를 가속화하는가?
• RQ3 학습률이 다양하거나 오프-폴리시 설정에서 META는 어떻게 성능을 발휘하는가?
• RQ4 이 방법은 액터-크리틱 프레임워크에 효율적으로 통합되어 크리틱 학습을 향상시킬 수 있는가?

주요 결과

• META는 RingWorld, FrozenLake, MountainCar를 포함한 다양한 환경에서 정책 평가의 표본 효율성을 크게 향상시켰다.
• 학습률 선택에 대한 민감도가 감소하여 온-폴리시 및 오프-폴리시 설정 모두에서 강인성이 향상됨을 보였다.
• MountainCar 환경에서, 특히 크리틱 학습률이 낮을 때 기존 기준 방법보다 META가 뛰어난 성능을 보였으며, 학습을 안정화시키기 위해 높은 학습률이 필요로 하는 문제를 줄였다.
• 실험 결과, 표본 및 함수 근사 설정 모두에서 다양한 행동-타겟 정책 쌍에서 일관된 정확도 향상이 관찰되었다.
• 주요 가치 학습기의 학습률보다 두 배 높은 학습률을 가진 보조 학습기를 사용함으로써, 특히 도전적인 탐색 상황에서 λ 적응의 안정성이 향상됨을 확인했다.