[논문 리뷰] An Emphatic Approach to the Problem of Off-policy Temporal-Difference Learning

Richard S. Sutton, A. Rupam Mahmood외 1명|arXiv (Cornell University)|2015. 03. 14.

Reinforcement Learning in Robotics참고 문헌 30인용 수 11

한 줄 요약

이 논문은 중요도 샘플링을 사용하여 학습 업데이트의 강조를 동적으로 조정함으로써 선형 함수 근사와 함께 오프-폴리시 시간차 학습을 안정화시키는 새로운 접근법인 강조 TD(λ)를 제안한다. 단일 학습된 파ameter 벡터와 단일 스텝 사이즈만을 필요로 하여 이전의 기울기-TD 방법들보다 단순함과 동시에 선형 단계 복잡도를 유지하고 오프-폴리시 학습에서도 안정성을 확보한다.

ABSTRACT

In this paper we introduce the idea of improving the performance of parametric temporal-difference (TD) learning algorithms by selectively emphasizing or de-emphasizing their updates on different time steps. In particular, we show that varying the emphasis of linear TD($λ$)'s updates in a particular way causes its expected update to become stable under off-policy training. The only prior model-free TD methods to achieve this with per-step computation linear in the number of function approximation parameters are the gradient-TD family of methods including TDC, GTD($λ$), and GQ($λ$). Compared to these methods, our _emphatic TD($λ$)_ is simpler and easier to use; it has only one learned parameter vector and one step-size parameter. Our treatment includes general state-dependent discounting and bootstrapping functions, and a way of specifying varying degrees of interest in accurately valuing different states.

연구 동기 및 목표

• 선형 함수 근사와 함께 오프-폴리시 설정에서 기존 TD(λ)의 불안정성, 특히 파ameter 발산 문제를 해결한다.
• 이중 샘플링이나 복잡한 파ameter 업데이트 없이 오프-폴리시 학습에서 안정적인 수렴을 보장하는 방법을 개발한다.
• 기울기-TD 방법들이 두 개의 파ameter 벡터와 두 개의 스텝 사이즈를 필요로 하는 것과는 달리, 오프-폴리시 TD 학습의 수를 줄여 단순화한다.
• 특정 상태에 대한 집중을 가능하게 하여 상태에 따라 달라지는 할인율과 관심 함수를 지원함으로써 오프-폴리시 상황에서도 정확한 가치 함수 추정을 가능하게 한다.
• TDC와 GQ(λ)와 같은 기존의 안정적 오프-폴리시 TD 방법들에 비해 이론적으로 탄탄하고 계산 효율적이며 최소한의 하이퍼파라미터 조정이 필요한 대안을 제공한다.

제안 방법

• 중요도 샘플링 비율에 기반한 상태 및 단계에 따라 변하는 강조 함수를 도입하여 TD 업데이트의 크기를 조정한다.
• 행동 정책, 목표 정책, 유인도 트레이스에 따라 의존하는 강조 요소로 선형 TD(λ)의 기대 업데이트를 수정한다.
• 강조를 통해 업데이트에서 핵심 행렬이 양의 정부호가 되도록 보장함으로써 오프-폴리시 조건에서 학습의 안정성을 확보한다.
• 상태 방문 빈도와 중요도 샘플링의 조합을 사용하여 강조 함수를 정의함으로써 상태 간에 학습 집중도를 동적으로 조절할 수 있도록 한다.
• 가치 함수 근사에 단일 파ameter 벡터와 단일 스텝 사이즈를 사용함으로써 구현을 단순화하고 계산 오버헤드를 감소시킨다.
• 상태에 따라 달라지는 할인율과 관심 함수를 지원하도록 방법을 일반화함으로써 특정 상태에 대한 정밀한 가치 추정을 가능하게 한다.

실험 결과

연구 질문

• RQ1 이중 샘플링이나 다수의 파ameter 벡터 없이도 선형 함수 근사와 함께 오프-폴리시 학습에서 안정적인 수렴을 달성할 수 있는 단일 파ameter TD 방법이 존재하는가?
• RQ2 중요도 샘플링을 활용한 TD 업데이트의 동적 강조가 오프-폴리시 TD(λ) 학습의 안정성과 수렴에 어떤 영향을 미치는가?
• RQ3 강조 기반 가중치는 오프-폴리시 설정에서 기존 TD(λ)에 비해 분산을 줄이고 점근적 근사 오차를 향상시킬 수 있는가?
• RQ4 강조 메커니즘은 LSTD(λ)와 같은 제곱형 방법들과는 달리 안정성을 확보하면서도 선형 단계 복잡도를 유지하는가?
• RQ5 강조 메커니즘은 상태에 따라 달라지는 할인율과 관심 함수를 지원하도록 확장될 수 있는가? 이는 특정 상태에 대한 집중을 가능하게 한다.

주요 결과

• emphatic TD(λ)는 선형 함수 근사와 함께 오프-폴리시 학습에서 안정적인 수렴을 달성하여, 이러한 설정에서 기존 TD(λ)가 애초에 겪는 불안정성 문제를 해결한다.
• 이 방법은 단일 학습된 파ameter 벡터와 단일 스텝 사이즈만을 필요로 하여 TDC와 GQ(λ)와 같은 기울기-TD 방법들보다 훨씬 단순하다.
• 단계당 계산 복잡도는 파ameter 수에 대해 선형을 유지하며, 이는 기울기-TD 방법들과 동일하고 LSTD(λ)와 같은 제곱형 방법들보다 뛰어나다.
• 강조 메커니즘이 핵심 행렬을 양의 정부호로 만듦으로써 안정성에 충분하며 기대 업데이트의 수렴을 암시한다.
• 실증 예제에서는 emphatic TD(0)가 특정 상태에 관심이 집중된 오프-폴리시 설정에서 기존 TD(0)보다 분산을 줄이고 성능을 향상시킴을 보여준다.
• 이론적 분석은 강조 함수가 상태 간에 변할 경우, 예를 들어 초기 상태만 관심이 있는 에피소딕 작업에서, 점근적 평균 제곱 오차(MSVE)를 향상시킬 수 있음을 시사한다.