[논문 리뷰] Directly Estimating the Variance of the {\lambda}-Return Using Temporal-Difference Methods

Craig Sherstan, Brendan Bennett외 5명|arXiv (Cornell University)|2018. 01. 25.

Reinforcement Learning in Robotics참고 문헌 11인용 수 5

한 줄 요약

이 논문은 강화학습에서 λ-리턴의 분산을 추정하기 위한 직접적인 시간차분 방법을 소개한다. 이는 편향 없는 λ-리턴 추정이 필요 없도록 하는 새로운 벨만 연산자를 사용한다. 이 방법은 VTD와 같은 이전 방법들보다 더 단순하고 더 견고하며, 특히 비정책 학습, 스텝-사이즈 불일치, 가치 함수 오차 상황에서 성능이 뛰어나다. 실험 결과로는 유사하거나 우수한 성능과 더 낮은 분산 추정을 보였다.

ABSTRACT

This paper investigates estimating the variance of a temporal-difference learning agent's update target. Most reinforcement learning methods use an estimate of the value function, which captures how good it is for the agent to be in a particular state and is mathematically expressed as the expected sum of discounted future rewards (called the return). These values can be straightforwardly estimated by averaging batches of returns using Monte Carlo methods. However, if we wish to update the agent's value estimates during learning--before terminal outcomes are observed--we must use a different estimation target called the {\lambda}-return, which truncates the return with the agent's own estimate of the value function. Temporal difference learning methods estimate the expected {\lambda}-return for each state, allowing these methods to update online and incrementally, and in most cases achieve better generalization error and faster learning than Monte Carlo methods. Naturally one could attempt to estimate higher-order moments of the {\lambda}-return. This paper is about estimating the variance of the {\lambda}-return. Prior work has shown that given estimates of the variance of the {\lambda}-return, learning systems can be constructed to (1) mitigate risk in action selection, and (2) automatically adapt the parameters of the learning process itself to improve performance. Unfortunately, existing methods for estimating the variance of the {\lambda}-return are complex and not well understood empirically. We contribute a method for estimating the variance of the {\lambda}-return directly using policy evaluation methods from reinforcement learning. Our approach is significantly simpler than prior methods that independently estimate the second moment of the {\lambda}-return. Empirically our new approach behaves at least as well as existing approaches, but is generally more robust.

연구 동기 및 목표

• 강화학습에서 λ-리턴의 분산을 추정하기 위한 더 단순하고 더 견고한 방법을 개발하기.
• VTD와 같은 기존 간접 방법의 한계를 해결하기. 이는 복잡한 계산과 높은 분산 추정을 수반한다.
• 시간차분 학습을 이용한 직접적인 분산 추정을 가능하게 하여, 비정책 학습, 상태에 따라 달라지는 할인율, 추적 감쇠 파라미터를 지원한다.
• 직접적인 분산 추정의 성능을 다양한 학습 시나리오(정책 및 비정책 설정 포함)에서 VTD와 비교하여 실증적으로 평가하기.

제안 방법

• 값 함수 추정기에서 유도된 제곱 시간차분 오차를 사용하여 분산 추정을 직접 업데이트하는 새로운 λ-리턴 분산을 위한 벨만 연산자를 제안한다.
• 두 단계 TD 네트워크를 사용한다: 첫 번째 단계는 가치 함수 J(s)를 추정하고, 두 번째 단계는 제곱 TD 오차를 메타 보상으로 사용하여 분산 V(s)를 추정한다.
• VTD와 달리 λ-리턴의 편향 없는 추정이 필요 없기 때문에 업데이트 규칙이 단순화되고 학습의 분산이 감소한다.
• 중요도 샘플링 비율을 사용하여 비정책 학습을 지원하고, 상태에 따라 달라지는 할인율과 추적 감쇠 파라미터를 처리할 수 있다.
• 직접 업데이트 규칙을 사용하여 분산 추정은 제곱 TD 오차와 가치 추정의 제곱 간의 차이를 기반으로 업데이트된다.
• 함수 근사와의 호환성을 고려하여 설계되었으며, 투영된 벨만 연산자 프레임워크로 자연스럽게 확장 가능하다.

실험 결과

연구 질문

• RQ1 새로운 벨만 연산자를 사용한 직접적 분산 추정은 VTD와 같은 간접 방법에 비해 안정성과 수렴성 측면에서 어떻게 비교되는가?
• RQ2 값 추정기와 분산 추정기 간의 스텝-사이즈 불일치가 추정 품질에 미치는 실증적 영향은 무엇인가?
• RQ3 값 함수 추정에서 유용성 추적을 사용할 경우, 분산 추정 알고리즘의 성능에 어떤 영향을 미치는가?
• RQ4 비정책 리턴의 분산을 추정할 때 두 방법은 어떻게 성능을 비교하는가?
• RQ5 값 함수 오차 또는 노이즈가 있는 리턴 조건에서 직접 방법이 VTD보다 분산 추정이 더 낮은 편인가?

주요 결과

• 모든 테스트 환경과 설정에서 직접 방법은 λ-리턴의 분산 추정에서 VTD와 유사한 성능을 달성한다.
• 값 추정기와 분산 추정기 간의 스텝-사이즈 불일치가 발생할 경우, 직접 방법은 VTD보다 분산 추정이 크게 낮다.
• 유용성 추적을 값 함수 학습에 사용하는 설정에서는 직접 방법은 안정적이고 정확한 반면, VTD는 특히 고수익 상태에서 분산 추정이 증가하는 경향을 보였다.
• 비정책 리턴의 분산을 추정할 때, 동일한 스텝-사이즈 조건에서도 직접 방법은 VTD보다 더 낮은 추정 분산을 유지한다.
• 값 함수 수렴 이전의 초기 학습 단계에서 직접 방법은 VTD의 추정이 더 불안정한 것에 비해 더 견고하다.
• 이론적 분석 결과, 직접 분산 추정의 오차는 가치 함수 근사 오차에 비례함을 확인하여 안정적인 학습 동역학을 보장한다.