[논문 리뷰] Multi-step Reinforcement Learning: A Unifying Algorithm

Kristopher De Asis, J. Fernando Hernandez-Garcia외 2명|arXiv (Cornell University)|2017. 03. 03.

Reinforcement Learning in Robotics인용 수 18

한 줄 요약

이 논문은 다단계 시간 차분(TD) 강화 학습을 위한 통합 알고리즘인 Q(σ)를 소개한다. 이 알고리즘은 매개변수 σ를 통해 완전한 샘플링(Sarsa)과 순수 기대값(Expected Sarsa) 사이를 연속적으로 보간하며, 온정책 예측 및 제어 과제에서 중간 σ 값이 양 끝점보다 뛰어난 성능을 보임을 입증한다. 동적 σ 적응 전략을 통해 학습 효율성이 더욱 향상된다.

ABSTRACT

Unifying seemingly disparate algorithmic ideas to produce better performing algorithms has been a longstanding goal in reinforcement learning. As a primary example, TD($λ$) elegantly unifies one-step TD prediction with Monte Carlo methods through the use of eligibility traces and the trace-decay parameter $λ$. Currently, there are a multitude of algorithms that can be used to perform TD control, including Sarsa, $Q$-learning, and Expected Sarsa. These methods are often studied in the one-step case, but they can be extended across multiple time steps to achieve better performance. Each of these algorithms is seemingly distinct, and no one dominates the others for all problems. In this paper, we study a new multi-step action-value algorithm called $Q(σ)$ which unifies and generalizes these existing algorithms, while subsuming them as special cases. A new parameter, $σ$, is introduced to allow the degree of sampling performed by the algorithm at each step during its backup to be continuously varied, with Sarsa existing at one extreme (full sampling), and Expected Sarsa existing at the other (pure expectation). $Q(σ)$ is generally applicable to both on- and off-policy learning, but in this work we focus on experiments in the on-policy case. Our results show that an intermediate value of $σ$, which results in a mixture of the existing algorithms, performs better than either extreme. The mixture can also be varied dynamically which can result in even greater performance.

연구 동기 및 목표

• Sarsa, Expected Sarsa, Q-learning 등 다양한 다단계 TD 제어 알고리즘을 하나의 일반화된 프레임워크로 통합하는 것.
• 백업 과정에서 샘플링과 기대값의 비율을 제어하는 연속형 매개변수 σ를 도입하여 편향-분산 트레이드오프를 부드럽게 조정하는 것.
• 온정책 학습 환경에서 중간 σ 값이 극단값(완전한 샘플링 또는 순수 기대값)보다 우수한 성능을 보이는지 실증적으로 평가하는 것.
• 학습 진행 상황에 맞게 동적으로 σ를 조정함으로써 샘플 효율성과 수렴 속도를 향상시킬 수 있는지 탐색하는 것.

제안 방법

• σ ∈ [0,1]인 샘플링 매개변수를 도입하여 Sarsa, Expected Sarsa, Q-learning를 일반화하는 다단계 행동가치 알고리즘 Q(σ)를 제안한다.
• σ = 1일 때 Q(σ)는 완전한 샘플링(=Sarsa 유사 업데이트)을 수행하고, σ = 0일 땐 순수 기대값 계산(=Tree-backup 스타일)을 수행한다.
• 초기 평가를 위해 유전성 트레이스 없이 원자적 n단계 백업을 사용하며, 온정책 학습에 집중한다.
• 업데이트 규칙은 즉각적인 수익과 다음 행동의 Q값, 모든 행동에 대한 기대값을 σ에 의해 제어되는 가중 조합으로 조합한다.
• 표준 가정 하에 최적의 Q* 함수로 수렴하는 것을 증명하기 위해 학습률 αt와 오차 항을 포함한 스토케스틱 프로세스를 활용한다.
• 이론적 분석을 확장하여, σ가 고정되거나 동적으로 조정될 경우 Q(σ)가 거의 확실히 최적의 행동가치 함수로 수렴함을 보여준다.

실험 결과

연구 질문

• RQ1 연속형 매개변수를 통해 Sarsa, Expected Sarsa, Q-learning와 같은 기존 다단계 TD 제어 방법을 하나의 알고리즘으로 통합할 수 있는가?
• RQ2 0(순수 기대값)과 1(완전한 샘플링) 사이의 중간 σ 값이 온정책 설정에서 극단값보다 더 뛰어난 성능을 보이는가?
• RQ3 학습 중에 σ를 동적으로 조정하면 고정된 σ 값에 비해 더 높은 샘플 효율성과 수렴 속도를 달성할 수 있는가?
• RQ4 편향-분산 트레이드오프가 표본 및 함수 근사 설정 모두에서 Q(σ)의 다양한 σ 값에서 어떻게 나타나는가?

주요 결과

• 예측 과제에서 중간 고정 σ 값이 Sarsa(σ = 1)와 Tree-backup(σ = 0)보다 낮은 루트 평균 제곱(RMS) 오차를 보이며 일관되게 뛰어난 성능을 보였다.
• 최적의 σ는 초기 학습 단계에서 더 낮은 분산을 선호하고 시간이 지남에 따라 점차 증가하여 편향을 줄이는 경향을 보였으며, 이는 동적 트레이드오프가 유리함을 시사했다.
• σ를 동적으로 조정함으로써 고정된 σ 값보다 더 빠른 수렴과 더 낮은 점근적 오차를 달성하여, 적응 제어가 성능 향상에 기여함을 입증했다.
• 이론적 분석을 통해 표준 학습률 및 정책 가정 하에 Q(σ)가 거의 확실히 최적의 Q* 함수로 수렴함을 확인했다.
• 이 알고리즘은 온정책과 오프정책 학습 모두에 일반화 가능하나, 초기 실험은 온정책 문제에 집중했다.
• Q(σ)는 기존 방법을 특수한 경우로 포함한다: σ = 1일 때 Sarsa, σ = 0일 때 Tree-backup, 특정 조건 하에 한계에서 Q-learning로 수렴한다.