[논문 리뷰] Geometric Insights into the Convergence of Nonlinear TD Learning

David Brandfonbrener, Joan Bruna|arXiv (Cornell University)|2019. 05. 29.

Gene Regulatory Network Analysis참고 문헌 28인용 수 5

한 줄 요약

이 논문은 비선형 TD 학습의 수렴성을 분석함으로써 기하학적 통찰을 제공한다. 연속 시간에서 기댓값 학습 동역학을 모델링하는 미분방정식(ODE)을 사용하여 분석하며, 환경이 근사기 조건에 비해 충분히 가역적일 경우 진정한 가치 함수로의 전역 수렴을 증명한다. 또한 ReLU 네트워크와 같은 동차 함수 근사기의 클래스를 규명하여, 이들의 동역학이 유한하고 worst-case 성능이 선형 TD와 유사함을 보여준다.

ABSTRACT

While there are convergence guarantees for temporal difference (TD) learning when using linear function approximators, the situation for nonlinear models is far less understood, and divergent examples are known. Here we take a first step towards extending theoretical convergence guarantees to TD learning with nonlinear function approximation. More precisely, we consider the expected learning dynamics of the TD(0) algorithm for value estimation. As the step-size converges to zero, these dynamics are defined by a nonlinear ODE which depends on the geometry of the space of function approximators, the structure of the underlying Markov chain, and their interaction. We find a set of function approximators that includes ReLU networks and has geometry amenable to TD learning regardless of environment, so that the solution performs about as well as linear TD in the worst case. Then, we show how environments that are more reversible induce dynamics that are better for TD learning and prove global convergence to the true value function for well-conditioned function approximators. Finally, we generalize a divergent counterexample to a family of divergent problems to demonstrate how the interaction between approximator and environment can go wrong and to motivate the assumptions needed to prove convergence.

연구 동기 및 목표

• 비선형 TD 학습의 수렴 행동을 이해하기 위해, 널리 사용되고 있음에도 불구하고 이론적 보장이 부족한 상황을 다룬다.
• 비선형 TD 학습의 불안정성을 해결하기 위해 연속 시간 기댓값 동역학을 분석한다.
• 수렴을 보장하는 함수 근사기와 환경의 기하학적 조건을 규명한다.
• 기존의 수렴 영역(선형 및 가역)을 더 넓은 비선형 함수 근사기의 범주로 일반화한다.
• 특정 아키텍처(예: ReLU 네트워크)가 다른 것들보다 TD 학습에 더 적합한 이유에 대한 이론적 근거를 제공한다.

제안 방법

• TD(0)의 기댓값 학습 동역학을 연속 시간에서의 비선형 상미분방정식(ODE)으로 모델링한다.
• Markov 체인과 정적분포에서 유래하는 성질을 간직하는 행렬 A = D_μ(I - γP)를 정의하여 동역학을 기술한다.
• 함수 근사기의 기하학과 환경의 구조 간의 상호작용을 분석함으로써 수렴성을 연구한다.
• 매끄럽고 동차인 함수의 클래스(ReLU 네트워크 포함)를 도입하고, 이들의 기하학적 성질이 동역학의 유한성과 선형 TD와 비교할 때 유사한 worst-case 성능을 보장함을 보여준다.
• 스펙트럼 및 기하학적 추론을 사용하여, 환경의 가역성이 근사기의 조건수보다 높을 경우 전역 수렴이 이루어짐을 증명한다.
• 기존의 발산 반례를 비가역 환경의 일반화된 가족으로 확장하여, 실패 모드를 시각화하고 가정의 타당성을 뒷받침한다.

실험 결과

연구 질문

• RQ1 함수 근사기의 기하학적 조건이 비선형 TD 학습의 수렴에 어떤 영향을 미치는가?
• RQ2 환경의 마르코프 체인 구조와 함수 근사기의 기하학 간의 상호작용이 수렴에 어떤 영향을 미치는가?
• RQ3 선형 TD에 대한 수렴 보장이 ReLU 네트워크와 같은 비선형 함수 근사기로 확장될 수 있는가?
• RQ4 환경의 가역성은 비선형 TD 학습 동역학의 안정성에 어떤 역할을 하는가?
• RQ5 근사기와 환경 간의 상호작용에서 발생하는 구조적 실패는 어떤 것이며, 이를 어떻게 특성화할 수 있는가?

주요 결과

• 매끄럽고 동차인 함수 근사기의 집합(ReLU 네트워크 포함)은 TD(0) ODE 동역학이 진정한 가치 함수를 포함하는 컴acts set로 끌려오는 것을 보장한다.
• ResNet 유사 매개변수화를 가진 ReLU 유사 네트워크의 경우, 컴acts set 내에서 worst-case 오차는 선형 TD 학습과 유사하다.
• 환경의 가역성이 근사기의 약한 조건수보다 높을 경우, 진정한 가치 함수로의 전역 수렴이 달성된다.
• 비가역 환경에 대해 일반화된 발산 반례를 구성하여, 근사기 기하학과 환경 구조 간의 열악한 상호작용이 발산을 유도할 수 있음을 시연한다.
• ODE 동역학은 A = D_μ(I - γP) 행렬에 의해 지배되며, 이는 양의 정부호이므로 선형 및 가역 케이스에서 수렴을 보장한다.
• 결과적으로, 비선형 TD 학습이 안정적인 경우를 이해하는 기하학적 프레임워크를 제공하며, 선형과 가역 수렴 영역 사이의 격차를 메운다.