[논문 리뷰] Online Off-policy Prediction

Sina Ghiassian|arXiv (Cornell University)|2018. 11. 06.

Advanced Bandit Algorithms Research참고 문헌 26인용 수 14

한 줄 요약

이 논문은 고정 기저 함수 표현을 사용하는 두 가지 도전적인 마이크로월드에서 가치 함수 예측을 위한 온라인 비정책 시간차 학습 알고리즘에 대한 종합적인 실증 연구를 제시한다. Emphatic-TD, Gradient-TDD, V-trace 등의 방법을 평가하며, ETD(λ)가 점점 더 높은 점근적 성능과 하이퍼파rameter에 대한 강건성을 보이며, 중요도 샘플링을 통해 전체 TD-오차를 보정하는 것이 부분 보정보다 항상 우수하다는 것을 발견한다.

ABSTRACT

In this dissertation, we study online off-policy temporal-difference learning algorithms, a class of reinforcement learning algorithms that can learn predictions in an efficient and scalable manner. The contributions of this dissertation are one of the two kinds: (1) empirically studying existing off-policy learning algorithms, or, (2) exploring new algorithmic ideas. In reinforcement learning, it is not uncommon for an agent to learn about one policy, called the target policy, while behaving using a different policy, called the behavior policy. When the target and behavior policies are different, learning is `off' the policy in the sense that the data is from a different source than the target policy. Our first contribution is a novel Gradient-TD algorithm called TDRC. Gradient-TD algorithms are one of the most important families of off-policy learning algorithms due to their favorable convergence guarantees. Previous research showed that Gradient-TD algorithms learn slower than some other unsound algorithms such as Off-policy TD (Maei, 2011). In addition, Gradient-TD algorithms are not as easy to use as Off-policy TD because they have two learned weight vectors and two step-size parameters. Our contribution is a new algorithm called temporal-difference learning with regularized corrections (TDRC), that behaves as well as Off-policy TD, when Off-policy TD performs well but is sound in cases where Off-policy TD diverges. TDRC provides a standard way of setting the second step-size parameter and is easier to use than other Gradient-TD algorithms. We empirically investigate the performance of TDRC across a range of problems, for both prediction and control, and for both linear and non-linear function approximation, and show that it consistently outperforms other Gradient-TD algorithms. We derive the control variant of TDRC and show that it could be a better alternative to existing algorithms for solving complex control problems with neural networks. One of the important contributions of this thesis is a comprehensive empirical study of off-policy prediction learning algorithms. The study is one of the most thorough studies of off-policy prediction learning algorithms to date in terms of the number of algorithms it includes and is unique in that the performance of algorithms with respect to each of the algorithms parameters is assessed individually. We present empirical results with eleven prominent off-policy learning algorithms that use linear function approximation: five Gradient-TD methods, two Emphatic-TD methods, Off-policy TD, V-trace, Tree Backup, and ABQ. We assess the performance of the algorithms in terms of their learning speed, asymptotic error, and sensitivity to the step-size and bootstrapping parameters on a simple problem, called the Collision task, that has eight states and two actions. On the Collision task, we found that the two Emphatic-TD algorithms learned the fastest, reached the lowest errors, and were robust to parameter settings. V-trace, Tree Backup, and ABQ were no faster and had higher asymptotic error than other algorithms. Another one of the main contributions of this thesis is the first empirical study of off-policy prediction learning algorithms with a focus on one of the most important challenges in off-policy learning: slow learning. When learning off-policy, importance sampling ratios are used to correct for the differences between the target and behavior policies. These ratios can be large and of high variance. The step-size parameter should be set small to control this high variance, which in turn slows down learning. In this study, we found that the algorithms' performance is highly affected by the variance induced by the importance sampling ratios. Data shows that algorithms that adapt the bootstrapping parameter during learning, such as V-trace are less affected by the high variance than the other algorithms. We observed that Emphatic TD tends to have lower asymptotic error than other algorithms, but exhibits high variance and does not learn well when the product of importance sampling ratios is large. The final contribution of this thesis is a step-size adaptation algorithm, called Step-size Ratchet, that when combined with Emphatic TD, significantly improves its learning speed. The proposed algorithm keeps the step-size parameter as large as possible and only ratchets it down when necessary. We establish the effectiveness of the combination of Emphatic TD and Step-size Ratchet by comparing it with the combination of Emphatic TD and other step-size adaptation algorithms on tasks where learning fast is challenging. (Abridged abstract)

연구 동기 및 목표

• 현대적인 온라인 비정책 예측 알고리즘 간 상대적 성능에 대한 이해 부족을 메우기 위해.
• 중요도 샘플링의 적용 위치—전체 TD-오차 보정 vs. 가치 추정치만 보정—이 학습 안정성과 성능에 미치는 영향을 평가하기 위해.
• 핵심 알고리즘들이 다양한 하이퍼파rameter와 환경의 변동성 하에서 민감도, 수렴 속도, 점근적 성능에 대해 평가하기 위해.
• 고정 기저 함수 설정에서 Emphatic-TD, Gradient-TD, V-trace, Tree Backup 등의 방법의 실용적 이점과 한계를 명확히 하기 위해.

제안 방법

• 저자는 고정 기저 함수 표현을 사용하는 두 가지 복잡한 마이크로월드에서 Emphatic-TD, Gradient-TD, V-trace, Tree Backup, ABTD(ζ) 등을 포함한 14종의 온라인 비정책 예측 알고리즘을 평가한다.
• 수렴 행동과 민감도를 평가하기 위해 스텝사이즈, λ, β 등의 하이퍼파rameter를 체계적으로 변화시킨다.
• 중요도 샘플링 보정은 전체 TD-오차 또는 가치 함수 추정치에만 적용되며, 성능에 미치는 영향을 실증적으로 비교한다.
• 하이퍼파rameter를 튜닝하고 학습 속도, 분산, 최종 성능를 평가하기 위해 영역-하나-곡선(AUC) 최적화를 사용한다.
• 중요도 샘플링 비율의 저변동성 및 고변동성 설정을 모두 포함하여 강건성을 평가한다.
• 명시적 사전 보정(예: V-trace)이 있는지 여부와 다양한 유전성 추적 메커니즘을 가진 방법들을 비교한다.

실험 결과

연구 질문

• RQ1 다양한 비정책 예측 알고리즘은 점근적 성능, 수렴 속도, 하이퍼파rameter 민감도 측면에서 어떻게 비교되는가?
• RQ2 중요도 샘플링을 통해 전체 TD-오차 항을 보정하는 것이 가치 함수 추정치만 보정하는 것보다 성능이 더 우수한가?
• RQ3 V-trace(λ)와 Tree Backup(λ)는 고변동성 중요도 샘플링 비율과 긴 유전성 추적 하에서 어떻게 성능을 내는가?
• RQ4 사전 보정(예: V-trace와 Tree Backup에서의 보정)은 학습 안정성 향상과 성능 향상에 어떤 역할을 하는가?
• RQ5 Gradient-TD의 하이브리드 또는 프록시미티 변형은 실생활에서 표준 Gradient-TD보다 의미 있는 개선을 이룬다 할 수 있는가?

주요 결과

• 모든 테스트 설정에서 Emphatic-TD(λ)는 Gradient-TD보다 더 높은 점근적 성능을 달성하며, 특히 작은 λ 값에서 두드러진다.
• 중요도 샘플링을 통해 전체 TD-오차 항을 보정하는 것은 부분 보정(오직 v(S_t)만)보다 항상 우수하거나 동등하며, 따라서 권장된다.
• ETD(λ)는 다른 방법들보다 λ 하이퍼파ram터에 훨씬 덜 민감하며, 고변동성 설정에서도 잘 작동한다.
• V-trace(λ)와 Tree Backup(λ)는 상호 대체할 수 없으며, 환경에 따라 성능이 달라지며, V-trace는 일반적으로 고변동성 상황에서 뛰어난 성능을 보인다.
• ABTD(ζ)는 최고의 방법들과 유사한 성능을 보이며, 특히 고변동성 작업에서는 V-trace와 Tree Backup를 뛰어넘는 경우가 있다.
• ETD(λ,β)는 ETD(λ)보다 명확한 이점이 없으며, β ≈ γ일 때 성능이 가장 우수하여 결국 ETD(λ)로 수렴한다.