[논문 리뷰] Off-policy Learning with Eligibility Traces: A Survey

Matthieu Geist, Bruno Scherrer|arXiv (Cornell University)|2013. 04. 15.

Reinforcement Learning in Robotics참고 문헌 1인용 수 39

한 줄 요약

이 논문은 온정책 가치 함수 추정 알고리즘을 유연성 있는 적응형 추적 기반 오프정책 학습으로 확장하기 위한 통합 프레임워크를 제시하며, 기존 알고리즘과 새로운 알고리즘을 체계적으로 유도한다. 실험적으로 오프정책 LSTD(λ)와 LSPE(λ)는 소형 및 대형 Garnet 문제 전반에서 수렴 속도와 정확도 면에서 다른 방법들보다 뛰어나며, 특히 최소 제곱법을 사용하기에 특징 수가 너무 많은 경우 TD(λ)가 강력한 대안이 된다.

ABSTRACT

In the framework of Markov Decision Processes, off-policy learning, that is the problem of learning a linear approximation of the value function of some fixed policy from one trajectory possibly generated by some other policy. We briefly review on-policy learning algorithms of the literature (gradient-based and least-squares-based), adopting a unified algorithmic view. Then, we highlight a systematic approach for adapting them to off-policy learning with eligibility traces. This leads to some known algorithms - off-policy LSTD(λ), LSPE(λ), TD(λ), TDC/GQ(λ) - and suggests new extensions - off-policy FPKF(λ), BRM(λ), gBRM(λ), GTD2(λ). We describe a comprehensive algorithmic derivation of all algorithms in a recursive and memory-efficent form, discuss their known convergence properties and illustrate their relative empirical behavior on Garnet problems. Our experiments suggest that the most standard algorithms on and off-policy LSTD(λ)/LSPE(λ) - and TD(λ) if the feature space dimension is too large for a least-squares approach - perform the best.

연구 동기 및 목표

• 온정책 가치 함수 추정 알고리즘을 적응형 추적 기반 오프정책 학습으로 확장하기 위한 체계적이고 통합적인 접근법을 제공하는 것.
• 최소 제곱법과 기울기 기반 방법을 바탕으로 기존 및 새로운 오프정책 알고리즘의 순환적이고 메모리 효율적인 구현을 도출하는 것.
• Garnet 문제에서 이러한 알고리즘의 성능을 경험적으로 비교하고 다양한 조건 하에서 가장 효과적인 방법을 규명하는 것.
• 특히 기울기 기반 알고리즘의 수렴 분석에 대한 이론적 격차를 부각하고 향후 연구 방향을 제안하는 것.

제안 방법

• Bellman 연산자를 적응형 추적과 중요도 샘플링을 통합하도록 수정하여 온정책 알고리즘(LSTD, LSPE, FPKF, BRM, TD, gBRM, TDC)을 오프정책 학습으로 확장하는 방법.
• 모든 알고리즘의 순환적 업데이트 규칙을 도출하여 온라인, 메모리 효율적인 학습을 가능하게 하며 확장성을 확보하는 것.
• 최소 제곱법과 기울기 기반 접근 모두에 일반화하기 위해 동일한 알고리즘 패턴(식 8)을 사용하는 것.
• 오프정책 환경에서 행동 정책와 목표 정책 간의 분포 이탈을 보정하기 위해 중요도 샘플링을 적용하는 것.
• 편향과 분산을 균형 잡고 샘플 효율성을 향상시키기 위해 적응형 추적(λ)을 사용하는 것.
• 상태 공간과 특징 공간 크기가 다양한 Garnet 문제에서 수렴 속도와 오차를 비교하기 위해 경험적 평가를 수행하는 것.

실험 결과

연구 질문

• RQ1 온정책 가치 함수 추정 알고리즘은 어떻게 적응형 추적 기반 오프정책 학습으로 체계적으로 확장될 수 있는가?
• RQ2 어떤 오프정책 적응형 추적 기반 알고리즘이 수렴 속도와 추정 정확도 면에서 가장 뛰어난 경험적 성능을 보이는가?
• RQ3 적응형 추적 기반 오프정책 설정에서 최소 제곱법 기반 알고리즘과 기울기 기반 알고리즘 간의 상대적 상충 관계는 무엇인가?
• RQ4 FPKF(λ)와 gBRM(λ) 알고리즘이 LSTD(λ)와 LSPE(λ)보다 성능이 뛰어나거나 열 劣하는 조건는 무엇인가?
• RQ5 오프정책 적응형 추적 기반 기울기 기반 확률적 알고리즘의 수렴 분석에서 남아 있는 이론적 과제는 무엇인가?

주요 결과

• 오프정책 LSTD(λ)와 LSPE(λ)는 소형 및 대형 Garnet 문제 전반에서 수렴 속도가 가장 빠르고 오차가 가장 낮게 유지된다.
• 최소 제곱법을 사용하기에 특징 수가 너무 많은 경우, TD(λ)는 확장성 있는 대안으로 잘 작동한다.
• FPKF(λ)의 확장은 원래 FPKF보다 수렴 속도와 정확도 면에서 뛰어나며, 특히 오프정책 설정에서 두드러진 성능 향상을 보인다.
• TDC/GTD2(λ)와 GTD2(λ)는 오프정책 학습을 위해 설계되었음에도 불구하고 TD(λ)보다 훨씬 느리게 작동한다.
• gBRM(λ)에서 λ=0일 경우 원래 gBRM 알고리즘의 잘 알려진 편향 문제로 인해 성능이 열 劣한다. 이는 이론적 제약을 확인하는 데 기여한다.
• Garnet 문제에서는 Π₀T^λ에 대한 수축 조건이 실질적으로 제약이 되지 않으며, 알려진 병적인 경우가 있음에도 불구하고 실험에서 발산 현상이 관찰되지 않았다.