[논문 리뷰] Gradient Temporal-Difference Learning with Regularized Corrections

Sina Ghiassian, Andrew Patterson외 4명|arXiv (Cornell University)|2020. 07. 01.

Neural Networks and Applications인용 수 9

한 줄 요약

이 논문은 정규화 파rameter를 조정하여 TD와 TDC를 통합하는 새로운 그래디언트 TD 방법인 TDRC(Temporal Difference Learning with Regularized Corrections)를 소개한다. TD가 잘 작동할 땐 TD의 성능을 유지하고, TDC처럼 수렴성을 보장하며, 선형 및 비선형 함수 근사에서 예측 및 제어 과제 전반에 걸쳐 뛰어난 안정성과 성능을 달성하여 TD와 표준 그래디언트 TD 방법을 모두 능가한다.

ABSTRACT

It is still common to use Q-learning and temporal difference (TD) learning-even though they have divergence issues and sound Gradient TD alternatives exist-because divergence seems rare and they typically perform well. However, recent work with large neural network learning systems reveals that instability is more common than previously thought. Practitioners face a difficult dilemma: choose an easy to use and performant TD method, or a more complex algorithm that is more sound but harder to tune and all but unexplored with non-linear function approximation or control. In this paper, we introduce a new method called TD with Regularized Corrections (TDRC), that attempts to balance ease of use, soundness, and performance. It behaves as well as TD, when TD performs well, but is sound in cases where TD diverges. We empirically investigate TDRC across a range of problems, for both prediction and control, and for both linear and non-linear function approximation, and show, potentially for the first time, that gradient TD methods could be a better alternative to TD and Q-learning.

연구 동기 및 목표

• 강화학습에서 실용적 딜레마를 해결하기 위해: TD 방법은 간편하고 효과적이지만 발산할 수 있고, 그래디언트 TD 방법은 타당하지만 복잡하고 튜닝이 어렵다.
• TD가 잘 작동할 때의 성능을 그대로 유지하면서 TDC처럼 수렴성을 보장하는 방법을 개발하기 위해.
• 정규화 파rameter를 통해 TD와 TDC 행동 간을 부드럽게 전이할 수 있는 단일 알고리즘을 만들기 위해, 광범위한 초모수 튜닝의 필요성을 줄이기 위해.
• 다양한 환경, 특히 비선형 함수 근사 및 제어 설정에서의 안정성과 성능이 중요한 상황에서 실험적으로 방법을 검증하기 위해.

제안 방법

• TDRC는 표준 TD(β = 1)와 TDC(β = 0) 사이를 조절하는 정규화 파rameter β를 도입하여 두 알고리즘 간의 연속적인 전이를 가능하게 한다.
• 알고리즘은 TD 오차와 정규화된 보정 항을 조합한 수정된 업데이트 규칙을 사용하여 학습을 안정화시킨다.
• TDC와 유사한 이중 시간 척도 업데이트 메커니즘을 사용하지만, 두 번째 학습률에 대한 민감도를 줄이기 위해 정규화된 보정 항을 적용한다.
• 이 방법은 리아푸노프 안정성 분석에 기반하여, 행렬 C가 특이일 경우에도 온건한 조건 하에서 수렴성을 증명한다.
• 정규화 파arameter β는 강건하다: 실험 전반에서 1.0의 값이 잘 작동하여 튜닝에 대한 민감도를 최소화한다.
• 알고리즘은 비정책 예측 문제의 사鞍점 공식화에서 유도되며, 함수 근사 하에서도 수렴성을 보장한다.

실험 결과

연구 질문

• RQ1 TD가 안정적일 때의 성능을 그대로 유지하면서 TDC처럼 수렴성을 보장하는 단일 알고리즘을 설계할 수 있는가?
• RQ2 정규화 파arameter β는 비정책 시간 차분 학습에서 안정성과 성능 간의 트레이드오프에 어떻게 영향을 미치는가?
• RQ3 TDRC는 예측 및 제어 과제에서 선형 및 비선형 함수 근사 문제 전반에서 TD와 TDC를 모두 능가하는가?
• RQ4 TDRC는 다양한 환경에서 초모수, 특히 정규화 파arameter β의 선택에 대해 강건한가?
• RQ5 TDC와 Q-러닝이 일관되지 않은 성능을 보이는 비선형 제어 설정에서 TDRC는 안정적이고 고성능의 학습을 달성할 수 있는가?

주요 결과

• TDRC는 TD가 잘 작동하는 설정에서 TD의 성능을 그대로 유지하면서도 수렴성 보장을 한다.
• TDRC는 선형 및 비선형 함수 근사 문제 전반에서 TDC를 포함한 다른 그래디언트 TD 방법보다 광범위하게 뛰어난 성능을 보인다.
• 정규화 파arameter β는 강건하다: 1.0의 값이 모든 실험에서 뛰어난 성능을 내며 튜닝에 대한 민감도를 최소화한다.
• 비선형 함수 근사가 적용된 제어 과제에서는 TDRC가 Q-러닝 성능을 일관되게 따라하거나 초월하며, TDC는 높은 분산과 불안정성을 보인다.
• TDRC는 TDC보다 뛰어난 안정성을 보이며, 특히 비정책 설정에서 두 번째 학습률에 민감한 TDC와 대비된다.
• 학습률이 유도된 범위를 충족할 경우, 행렬 C가 특이일 경우에도 수렴성을 달성하여 적용 범위를 넓힌다.