[논문 리뷰] Per-decision Multi-step Temporal Difference Learning with Control Variates

Kristopher De Asis, Richard S. Sutton|arXiv (Cornell University)|2018. 07. 05.

Reinforcement Learning in Robotics참고 문헌 13인용 수 6

한 줄 요약

이 논문은 n단계 시간차 학습에 대해 각 결정 단계에서의 제어 변수를 도입하여, 온정책 및 오프정책 설정 모두에서 분산을 감소시킨다. 보상 시퀀스의 각 보상에서 행동가치 기대값을 빼는 방식으로 구현된다. 이 방법은 기준선 n단계 TD 알고리즘에 비해 학습 정확도와 성능을 크게 향상시키며, 특히 분산이 높은 오프정책 설정에서 두드러진 성능 향상을 보인다.

ABSTRACT

Multi-step temporal difference (TD) learning is an important approach in reinforcement learning, as it unifies one-step TD learning with Monte Carlo methods in a way where intermediate algorithms can outperform either extreme. They address a bias-variance trade off between reliance on current estimates, which could be poor, and incorporating longer sampled reward sequences into the updates. Especially in the off-policy setting, where the agent aims to learn about a policy different from the one generating its behaviour, the variance in the updates can cause learning to diverge as the number of sampled rewards used in the estimates increases. In this paper, we introduce per-decision control variates for multi-step TD algorithms, and compare them to existing methods. Our results show that including the control variates can greatly improve performance on both on and off-policy multi-step temporal difference learning tasks.

연구 동기 및 목표

• 특히 분산이 높아 수렴하지 못할 수 있는 오프정책 설정에서 다단계 시간차 학습의 분산을 줄이기 위해.
• 부트스트랩 단계를 넘어서 n단계 수상 시퀀스의 모든 결정 단계에 제어 변수 개념을 확장하기 위해.
• 상태가치 함수 및 행동가치 함수 모두에 대해 각 결정 단계 제어 변수를 통합함으로써 기존의 n단계 TD 알고리즘을 통합하고 향상시키기 위해.
• n단계 프레임워크를 통해 제어 변수가 TD(λ) 방법과 어떻게 관련되어 있는지 이론적이고 경험적인 통찰을 제공하기 위해.
• 제어 변수 스케일링이 다양한 환경와 파rameter 설정에서 학습 안정성과 성능에 미치는 영향을 평가하기 위해.

제안 방법

• 목표 정책 하에서의 행동가치 기대값을 n단계 수상 시퀀스의 각 보상에서 빼는 방식으로 각 결정 단계 제어 변수를 제안한다.
• 행동가치 함수 추정치를 사용하여 제어 변수를 유도하며, 분산을 최소화하기 위해 방정정식 18의 분석적 최적 계수를 기반으로 스케일링 파ram터 c를 선택한다.
• 온정책(예: n단계 Sarsa) 및 오프정책(예: n단계 기대 Sarsa) 설정 모두에 제어 변수를 적용하여 안정성과 정확도를 향상시킨다.
• 부트스트랩 단계가 아닌 모든 결정 단계에서 제어 변수를 적용하는 새로운 알고리즘인 n단계 CV Sarsa를 제안하며, 이는 기대 Sarsa의 일반화이다.
• 유사한 분산 감소 효과를 암묵적으로 유도할 수 있는 유사도 추적의 경로 조정을 통해 각 결정 단계 제어 변수를 TD(λ)와 연결한다.
• 연속 상태 공간에서 함수 근사 기법을 활용하여 표본 외 영역에서의 일반화 및 확장성 평가를 수행한다.

실험 결과

연구 질문

• RQ1 각 결정 단계에서 제어 변수를 적용함으로써 n단계 TD 방법의 분산을 줄이고 학습 성능을 향상시킬 수 있는가, 특히 오프정책 설정에서 그러한 효과가 있는가?
• RQ2 부트스트랩 단계에서만 제어 변수를 적용하는 것과 비교해 모든 결정 단계에서 적용할 경우 오차와 수렴 속도에 어떤 영향을 미치는가?
• RQ3 제어 변수 스케일링 파ram터 c가 학습 안정성과 성능에 미치는 영향은 무엇인가?
• RQ4 각 결정 단계 제어 변수는 더 넓은 TD(λ) 프레임워크와 유사도 추적과 어떻게 관련되어 있는가?
• RQ5 함수 근사 기반 연속 상태 공간 설정에서도 제어 변수 접근 방식이 성능 향상에 기여하는가?

주요 결과

• n단계 CV Sarsa는 온정책 및 오프정책 예측 및 제어 작업에서 n단계 기대 Sarsa를 능가하며, 가치 함수 추정치의 분산과 오차를 낮춘다.
• 5×5 그리드 월드 환경에서, n단계 CV Sarsa는 특히 분산이 높은 오프정책 설정에서 기준선 방법에 비해 유의미하게 낮은 평균 수상 오차를 기록했다.
• 마운틴 카 제어 작업에서 n단계 CV Sarsa는 평균적으로 n단계 기대 Sarsa보다 더 높은 에피소드당 수상치를 기록했으며, 이는 탐색 정책이 극도로 탐색 중심이 되어 제어 변수의 효과가 줄어들었기 때문에 효과가 덜 두드러졌다.
• 큰 n과 큰 학습률 α 설정에서, 각 결정 단계 제어 변수를 도입함으로써 일부 경우에 학습이 발산하는 현상이 발생했으며, 이는 추정치가 정확하지 않을 경우 파ram터 설정에 민감함을 시사한다.
• 상태가치 제어 변수는 기준선 대비 성능 향상을 보였지만, 행동가치 제어 변수에 비해 열등했으며, 이는 가치 기반 제어에서 행동가치 제어 변수가 더 효과적임을 시사한다.
• 분석적 최적 제어 변수 계수(방정식 18)는 향후 성능 향상을 위한 적응형 온라인 스케일링 가능성을 시사하지만, 본 연구에서는 깊이 있게 다루지 않았다.