[논문 리뷰] Characterizing the Exact Behaviors of Temporal Difference Learning Algorithms Using Markov Jump Linear System Theory

Bin Hu, Usman Syed|arXiv (Cornell University)|2019. 06. 16.

Neural Networks Stability and Synchronization인용 수 28

한 줄 요약

이 논문은 선형 함수 근사와 함께 시간 차분(TD) 학습의 평균 및 공분산 동역학을 통합적이고 정확하게 기술하기 위해 마코프 점프 선형 시스템(MJLS) 이론을 사용한다. TD 오차의 평균 및 공분산에 대한 폐쇄형 표현식을 유도하고, 스펙트럼 반경을 통한 수렴 조건을 설정하며, i.i.d. 및 마코프 노이즈 설정 모두에서 평균 제곱 TD 오차의 선형 수렴을 정밀한 극한으로 보여준다.

ABSTRACT

In this paper, we provide a unified analysis of temporal difference learning algorithms with linear function approximators by exploiting their connections to Markov jump linear systems (MJLS). We tailor the MJLS theory developed in the control community to characterize the exact behaviors of the first and second order moments of a large family of temporal difference learning algorithms. For both the IID and Markov noise cases, we show that the evolution of some augmented versions of the mean and covariance matrix of the TD estimation error exactly follows the trajectory of a deterministic linear time-invariant (LTI) dynamical system. Applying the well-known LTI system theory, we obtain closed-form expressions for the mean and covariance matrix of the TD estimation error at any time step. We provide a tight matrix spectral radius condition to guarantee the convergence of the covariance matrix of the TD estimation error, and perform a perturbation analysis to characterize the dependence of the TD behaviors on learning rate. For the IID case, we provide an exact formula characterizing how the mean and covariance matrix of the TD estimation error converge to the steady state values at a linear rate. For the Markov case, we use our formulas to explain how the behaviors of TD learning algorithms are affected by learning rate and the underlying Markov chain. For both cases, upper and lower bounds for the mean square TD error are provided. The mean square TD error is shown to converge linearly to an exact limit.

연구 동기 및 목표

• 시간 차분 학습에 대한 선형 함수 근사기구를 분석하기 위한 통합 이론적 프레임워크를 제공하는 것.
• i.i.d. 및 마코프 노이즈 조건 하에서 TD 추정 오차의 정확한 평균 및 공분산 진동을 기술하는 것.
• 행렬의 스펙트럼 반경 분석을 통해 TD 오차의 공분산 행렬에 대한 정밀한 수렴 조건을 설정하는 것.
• 두 노이즈 모델 모두에 대해 평균 제곱 TD 오차의 날카운 상한 및 하한을 도출하는 것.
• 학습률 및 기저 마코프 체인의 구조에 따른 TD 학습 행동의 민감도를 분석하는 것.

제안 방법

• TD 학습 알고리즘을 마코프 점프 선형 시스템(MJLS)으로 매핑할 수 있는 확장된 상태공간 시스템으로 모델링하는 것.
• MJLS 이론을 활용해 TD 오차의 평균 및 공분산 행렬의 진동을 정확히 기술하는 결정론적 선형 시간 불변(LTI) 동역학을 도출하는 것.
• 기존의 LTI 시스템 이론을 적용하여 임의의 시간 단계에서의 평균 및 공분산에 대한 폐쇄형 해석적 표현식을 확보하는 것.
• TD 추정 오차의 공분산 행렬 수렴을 보장하기 위한 날카운 행렬 스펙트럼 반경 조건을 도출하는 것.
• 편미분 분석을 수행하여 학습률에 따른 TD 행동의 의존성을 정량화하는 것.
• 유도된 공식을 사용하여 마코프 노이즈 케이스에서 학습률 및 마코프 체인의 파라미터가 TD 학습 동역학에 미치는 영향을 분석하는 것.

실험 결과

연구 질문

• RQ1 i.i.d. 노이즈 조건 하에서 선형 함수 근사와 함께 TD 학습의 정확한 평균 및 공분산 동역학은 어떻게 기술할 수 있는가?
• RQ2 TD 추정 오차의 공분산 행렬이 수렴하는 정밀한 조건은 무엇인가?
• RQ3 학습률은 평균 제곱 TD 오차의 수렴 속도와 정적 상태 행동에 어떻게 영향을 미치는가?
• RQ4 기저 마코프 체인의 성질은 TD 학습 알고리즘의 행동에 어떻게 영향을 미치는가?
• RQ5 i.i.d. 및 마코프 노이즈 시나리오 모두에서 평균 제곱 TD 오차의 날카운 상한 및 하한은 무엇인가?

주요 결과

• TD 추정 오차의 평균 및 공분산 행렬의 진동은 결정론적 LTI 시스템을 따르며, 이는 정확한 폐쇄형 해를 가능하게 한다.
• TD 추정 오차의 공분산 행렬 수렴을 보장하기 위한 날카운 행렬 스펙트럼 반경 조건이 도출되었다.
• i.i.d. 노이즈 케이스에서는 평균 및 공분산이 선형 속도로 정적 상태 값으로 수렴하며, 정확한 공식이 제공된다.
• 마코프 노이즈 케이스에서는 학습률과 마코프 체인의 전이 구조가 TD 학습 행동에 공동으로 영향을 미치는 방식이 드러난다.
• 평균 제곱 TD 오차는 정밀한 극한으로 선형 수렴하며, 두 노이즈 모델 모두에 대해 날카운 상한 및 하한이 도출되었다.
• 편미분 분석을 통해 TD 오차 동역학이 학습률에 명시적으로 의존하며, 이는 시스템 행렬의 스펙트럼 성질을 통해 정량화된다.