[논문 리뷰] A Greedy Approach to Adapting the Trace Parameter for Temporal Difference Learning

Martha White, Adam White|arXiv (Cornell University)|2016. 07. 02.

Reinforcement Learning in Robotics참고 문헌 17인용 수 8

한 줄 요약

이 논문은 강화학습에서 함수 근사 및 오프-폴리시 설정에서 TD($\lambda$) 추적 파라미터 $\lambda$의 온라인 적응을 위한 새로운, 점진적이고 함수 근사와 호환되는 알고리즘을 제안한다. 편향-분산 트레이드오프 목적 함수를 탐욕적으로 최소화함으로써, 이 방법은 각 상태별로 $\lambda$를 동적으로 조정하여 고정되거나 히우리스틱적인 $\lambda$ 스케줄보다 더 높은 샘플 효율성과 강건성을 달성한다.

ABSTRACT

One of the main obstacles to broad application of reinforcement learning methods is the parameter sensitivity of our core learning algorithms. In many large-scale applications, online computation and function approximation represent key strategies in scaling up reinforcement learning algorithms. In this setting, we have effective and reasonably well understood algorithms for adapting the learning-rate parameter, online during learning. Such meta-learning approaches can improve robustness of learning and enable specialization to current task, improving learning speed. For temporal-difference learning algorithms which we study here, there is yet another parameter, $λ$, that similarly impacts learning speed and stability in practice. Unfortunately, unlike the learning-rate parameter, $λ$ parametrizes the objective function that temporal-difference methods optimize. Different choices of $λ$ produce different fixed-point solutions, and thus adapting $λ$ online and characterizing the optimization is substantially more complex than adapting the learning-rate parameter. There are no meta-learning method for $λ$ that can achieve (1) incremental updating, (2) compatibility with function approximation, and (3) maintain stability of learning under both on and off-policy sampling. In this paper we contribute a novel objective function for optimizing $λ$ as a function of state rather than time. We derive a new incremental, linear complexity $λ$-adaption algorithm that does not require offline batch updating or access to a model of the world, and present a suite of experiments illustrating the practicality of our new algorithm in three different settings. Taken together, our contributions represent a concrete step towards black-box application of temporal-difference learning methods in real world problems.

연구 동기 및 목표

• 함수 근사 및 오프-폴리시 설정에서 TD($\\lambda$) 추적 파라미터 $\\lambda$를 스케일러블하고 온라인, 안정적인 메타학습 방법으로 적응시키는 데에 있어 부족한 점을 보완하기 위해.
• 시간에 따라가지 않고 각 상태별로 $\\lambda$를 적응시키는 방법을 개발하여, 변화가 빠른 환경에서 더 나은 편향-분산 트레이드오프를 달성하기 위해.
• 점진적 학습, 함수 근사, 오프-폴리시 샘플링과의 호환성을 확보하기 위해 — 이는 실세계 RL 구현에 필수적인 조건들이다.
• 배치 처리나 사전 모델 지식 없이도 실용적이고 모델에 종속되지 않으며 계산적으로 효율적인 $\\lambda$ 적응 솔루션을 제공하기 위해.

제안 방법

• 편향과 분산을 균형 잡는 데 초점을 맞춘 새로운 목적 함수를 제안하여, $\\lambda$-리턴과 진짜 가치 함수 간의 기대 제곱오차를 탐욕적으로 최소화한다.
• 시간 차분 학습 원리를 활용해 상태에 따라 달라지는 $\\lambda(s)$를 갱신하는 점진적이고 선형 복잡도의 알고리즘을 유도한다.
• GTD($\\lambda=1$)를 사용해 $\\lambda$-리턴의 두 번째 모멘트를 추정함으로써, 목적 함수 내 분산 항을 온라인으로 계산할 수 있도록 한다.
• 미래의 $\\lambda$ 값이 1로 설정될 것이라는 탐욕 전략을 가정함으로써, 향후 분산을 줄이기 위해 낮은 $\\lambda_{t+1}$를 선호한다.
• 탐욕적 가정의 수렴성을 높이기 위해 수렴 시간에 따라 조정 가능한 수평선 인식 리프레시를 도입하여, 유한한 수평선 내에서 미래의 $\\lambda$ 값을 제어할 수 있도록 한다.
• 표본화된 상태와 함수 근사 설정을 포함한 탭류 및 오프-폴리시 환경에서 알고리즘을 적용한다.

실험 결과

연구 질문

• RQ1 탐욕적이고 점진적인 알고리즘이 오프-폴리시 및 함수 근사 설정에서 학습의 안정성과 속도를 향상시키기 위해 TD($\\lambda$) 파라미터 $\\lambda$를 각 상태별로 적응시킬 수 있는가?
• RQ2 고정된 $\\lambda$ 값과 시간 감소 스케줄에 비해, 각 상태별 $\\lambda$ 적응은 샘플 효율성과 강건성 측면에서 어떻게 비교되는가?
• RQ3 알고리즘이 잘 정의된 고정점으로 수렴하는가, 특히 가치 함수 추정이 신뢰할 수 있을 때 $\\lambda(s) \approx 0$로 수렴하는가?
• RQ4 상태 별칭이 발생할 경우, 가치 함수 추정이 덜 확신스럽고 높은 $\\lambda$ 값이 유리한 상황에서 알고리즘은 어떻게 성능을 발휘하는가?

주요 결과

• $\\lambda$-탐욕 알고리즘은 여러 환경에서 고정된 $\\lambda$ 값과 시간 감소 스케줄보다 일관되게 뛰어난 성능을 보이며, 온-폴리시 및 오프-폴리시 설정 모두에 적용된다.
• 탭류 설정에서는 알고리즘이 $\\lambda(s) \approx 0$로 수렴함을 확인하여, 가능한 한 편향을 제거하고 유eligibility 트레이스를 비활성화함으로써 분산을 줄이는 것을 학습하는 것으로 나타났다.
• 별칭된 특징 설정에서는 $\\lambda$-탐욕이 별칭 상태에서 $\\lambda(s)$를 증가시키며, 가치 추정이 덜 신뢰할 수 있을 때 편향을 줄이는 능력을 보여준다.
• 최적의 $\\lambda$-탐욕 변형은 두 번째 모멘트의 이상적 추정치를 사용하여 가장 뛰어난 성능을 달성함을 보여주며, 이는 분산 항을 추정하는 데 더 나은 방법이 필요함을 시사한다.
• GTD($\\lambda=1$)를 통해 두 번째 모멘트를 추정하면 뛰어난 성능를 얻을 수 있지만, 메타파rameter에 민감하여 향후 조정이 더 필요함을 시사한다.
• 알고리즘은 체인 길이 변화나 정책 이동(온-폴리시에서 오프-폴리시로 전환)에 대해 강건성을 보였으며, 고정된 $\\lambda$와 감소 스케줄은 이러한 조건에서 성능이 저하되는 것과 대비된다.