[논문 리뷰] Temporal Difference Updating without a Learning Rate

Marcus Hütter, Shane Legg|ArXiv.org|2008. 10. 31.

Reinforcement Learning in Robotics참고 문헌 9인용 수 16

한 줄 요약

이 논문은 통계적 원리와 변분 접근법을 통해 수동으로 조정해야 하는 학습률 α가 필요 없도록 하는 시간차분 학습 알고리즘 HL(λ)을 제안한다. 이 방법은 유eligibility 트레이스와 경험적 보상 통계에 기반한 상태별 학습률을 사용하며, 수동 하이퍼파라미터 튜닝 없이도 다양한 환경에서 표준 TD(λ), Sarsa(λ), Q(λ)를 능가한다.

ABSTRACT

We derive an equation for temporal difference learning from statistical principles. Specifically, we start with the variational principle and then bootstrap to produce an updating rule for discounted state value estimates. The resulting equation is similar to the standard equation for temporal difference learning with eligibility traces, so called TD(lambda), however it lacks the parameter alpha that specifies the learning rate. In the place of this free parameter there is now an equation for the learning rate that is specific to each state transition. We experimentally test this new learning rule against TD(lambda) and find that it offers superior performance in various settings. Finally, we make some preliminary investigations into how to extend our new temporal difference algorithm to reinforcement learning. To do this we combine our update equation with both Watkins' Q(lambda) and Sarsa(lambda) and find that it again offers superior performance without a learning rate parameter.

연구 동기 및 목표

• 시간차분 학습에서 수동 학습률 튜닝이 필요 없도록 하는 것.
• 히우리스틱 설계가 아닌 통계적 추론에서 유도된 원칙적인, 데이터 기반 학습률을 도출하는 것.
• 가격 추정 및 정책 학습 작업 모두에서 학습 안정성과 성능을 향상시키는 것.
• 새로운 학습 규칙을 Sarsa(λ)와 Q(λ)와 같은 완전한 강화학습 알고리즘으로 확장하는 것.
• 정적, 비정적, 에피소딕 환경 전반에서 방법을 검증하는 것.

제안 방법

• 추정된 미래 할인 보상과 경험적 미래 할인 보상 간의 제곱 오차의 가중합을 최소화하는 변분 원리에서 학습률을 유도한다.
• 시간 가중 손실 함수를 사용하며, 파rameter λ를 통해 오래된 상태 전이를 할인함으로써 비정적 환경에서의 적응성을 가능하게 한다.
• TD(λ)의 고정 학습률 α를 상태-전이별로 정의된 학습률 β로 대체하며, 이는 정규화된 트레이스 가중 수와 유eligibility 트레이스의 역수로부터 유도된다.
• 유도된 학습률을 증분 업데이트 규칙에 적용한다: V(s) ← V(s) + β × E(s) × δ, 여기서 δ는 시간차분 오차이다.
• Sarsa(λ)와 워킹스의 Q(λ)에 β 기반 업데이트를 통합하여 HLS(λ)와 HLQ(λ)를 도출함으로써 Q-학습으로의 확장을 수행한다.
• 방문 빈도와 시간적 신용 배분을 추적하기 위해 실행 중인 카운트 N(s,a)와 유eligibility 트레이스 E(s,a)를 사용하며, λ는 둘 다 감쇠에 사용된다.

실험 결과

연구 질문

• RQ1 통계적 추론에서 유도된 원칙적이고 데이터 기반의 학습률을 도출할 수 있는가? 이는 TD(λ)의 히우리스틱 학습률 α를 대체할 수 있는가?
• RQ2 결과적으로 도출된 HL(λ) 알고리즘이 다양한 마르코프 체인 환경에서 표준 TD(λ)보다 가치 함수 추정에서 뛰어난 성능을 보일 수 있는가?
• RQ3 HL(λ)의 학습률 적응성은 고정 α 방법에 비해 비정적 환경에서 성능 향상에 기여하는가?
• RQ4 학습률 하이퍼파라미터의 제거가 Sarsa(λ)와 Q(λ)와 같은 완전한 강화학습 알고리즘에서 뛰어난 성능을 이끌어내는가?
• RQ5 HL(λ) 프레임워크는 성능 손실 없이도 다른 시간차분 알고리즘으로 일반화될 수 있는가?

주요 결과

• HL(λ)은 정적 및 비정적 마르코프 체인에서 표준 TD(λ)를 능가했으며, 가치 함수 추정 오차가 더 낮았다.
• 바람이 있는 격자도시 환경에서 HLS(λ)는 최종 경험적 향후 할인 보상 5.0 이상을 달성했으며, 최적 튜닝된 Sarsa(λ)의 성능가 5.0 이하에 머물렀다.
• λ=0.99일지라도 Sarsa(λ)는 HLS(λ)의 최종 성능을 따라잡지 못했으며, 이는 데이터 기반 학습률의 우수성을 입증한다.
• HL(λ)을 Q-학습에 확장한 HLQ(λ)는 학습률 튜닝 없이도 Q(λ)보다 뛰어난 성능을 달성했으며, 광범위한 하이퍼파라미터 검색에도 불구하고 그러한 성능 향상이 유지되었다.
• 여러 런과 환경 전반에서 일관된 슈퍼리오리티를 보였으며, 성능 향상은 상태 전이별 적응형 학습률 덕분으로 기인되었다.
• 수동 α 튜닝이 필요 없음에도 불구하고 경쟁적인 학습 속도를 유지했으며, 이는 실세계 강화학습 응용에서 실용적 이점을 시사한다.