[논문 리뷰] On the Expected Dynamics of Nonlinear TD Learning.

David Brandfonbrener, Joan Bruna|arXiv (Cornell University)|2019. 05. 29.

Neural Networks and Applications참고 문헌 12인용 수 4

한 줄 요약

이 논문은 비선형 함수 근사기의 기하학적 구조와 마르코프 체인의 구조 간 상호작용을 반영하는 비선형 상미분방정식(OED)을 통해 비선형 TD(0) 학습의 기대 동역학을 분석한다. 잘 조절되고 가역적인 환경에서 진정한 가치 함수로의 수렴을 보장하는 함수 근사기의 클래스를 특정하며, 기존의 알려진 발산 예시를 일반화하여 실패 조건을 명확히 한다.

ABSTRACT

While there are convergence guarantees for temporal difference (TD) learning when using linear function approximators, the situation for nonlinear models is far less understood, and divergent examples are known. Here we take a first step towards extending theoretical convergence guarantees to TD learning with nonlinear function approximation. More precisely, we consider the expected learning dynamics of the TD(0) algorithm for value estimation. As the step-size converges to zero, these dynamics are defined by a nonlinear ODE which depends on the geometry of the space of function approximators, the structure of the underlying Markov chain, and their interaction. We find a set of function approximators that includes ReLU networks and has geometry amenable to TD learning regardless of environment, so that the solution performs about as well as linear TD in the worst case. Then, we show how environments that are more reversible induce dynamics that are better for TD learning and prove global convergence to the true value function for well-conditioned function approximators. Finally, we generalize a divergent counterexample to a family of divergent problems to demonstrate how the interaction between approximator and environment can go wrong and to motivate the assumptions needed to prove convergence.

연구 동기 및 목표

• 시간 차분 학습에서 선형 함수 근사기에서 비선형 함수 근사기로의 이론적 수렴 보장을 확장하기 위해.
• 함수 근사기의 기하학적 구조와 마르코프 체인의 구조가 학습 동역학에 어떻게 상호작용하는지 이해하기 위해.
• 비선형 TD(0)가 진정한 가치 함수로 전역적으로 수렴하는 조건을 특정하기 위해.
• 기존의 알려진 발산 반례를 형식화하고 일반화하여 비선형 TD 학습에서의 실패 메커니즘을 명확히 하기 위해.

제안 방법

• 스텝 크기가 점점 줄어드는 극한에서 TD(0)의 기대 학습 동역학을 비선형 상미분방정식으로 모델링한다.
• 함수 근사기의 기하학적 구조와 기저 마르코프 체인의 전이 구조 간의 상호작용을 분석한다.
• ReLU 네트워크를 포함한, 환경에 관계없이 유리한 기하학적 성질을 유지하는 함수 근사기의 클래스를 정의한다.
• 환경이 잘 조절되고 가역적인 경우, 제안된 근사기 클래스 하에서 진정한 가치 함수로의 전역 수렴을 증명한다.
• 기존의 알려진 발산 반례를 가족 형태의 발산 문제로 일반화하여 근사기-환경의 불일치로 인한 실패 양태를 설명한다.

실험 결과

연구 질문

• RQ1 함수 근사기와 환경에 어떤 조건이 충족되어야 비선형 TD(0)가 진정한 가치 함수로 수렴하는가?
• RQ2 함수 근사기 공간의 기하학적 구조가 마르코프 체인의 구조와 어떻게 상호작용하여 학습 동역학에 영향을 주는가?
• RQ3 환경의 가역성이 비선형 TD(0) 학습의 안정성 또는 불안정성에 어떤 역할을 하는가?
• RQ4 기존의 알려진 발산 예시를 어떻게 일반화하여 비선형 TD 학습에서의 근본적인 실패 메커니즘을 드러내는가?

주요 결과

• ReLU 네트워크를 포함한 특정 함수 근사기의 클래스는 환경에 관계없이 안정적인 TD 학습을 지원하는 기하학적 성질을 보이며, 최악의 경우 선형 TD와 비교해도 성능이 유사하다.
• 잘 조절되고 가역적인 환경에서는 제안된 근사기 클래스 하에서 비선형 TD(0)가 진정한 가치 함수로 전역적으로 수렴한다.
• 근사기 기하학과 환경 구조 간의 상호작용은 발산을 유도할 수 있으며, 이는 일반화된 발산 반례 가족을 통해 형식화된다.
• 환경의 가역성은 학습 동역학을 향상시켜 비선형 TD(0) 설정에서 수렴 가능성을 높인다.