[논문 리뷰] Approximate Temporal Difference Learning is a Gradient Descent for Reversible Policies

Yann Ollivier|arXiv (Cornell University)|2018. 05. 02.

Reinforcement Learning in Robotics참고 문헌 7인용 수 16

한 줄 요약

이 논문은 정책이 가역적일 경우 근사 시간차(TD) 학습이 값 함수 오차의 딜레클 노름에 대한 경사 하강법과 동일하다는 것을 증명한다. 핵심 기여는 비선형 함수 근사기(예: 신경망)를 사용할 때, 할인 인자 γ=1이어도 가역성 조건 하에서 수렴성과 안정성에 대한 이론적 보장을 제공하는 것이다. 이는 TD 학습이 진정한 값 함수와 근사 값 함수 간의 차이에 대한 딜레클 노름을 최소화하는 방식으로 해석될 수 있음을 의미한다.

ABSTRACT

In reinforcement learning, temporal difference (TD) is the most direct algorithm to learn the value function of a policy. For large or infinite state spaces, exact representations of the value function are usually not available, and it must be approximated by a function in some parametric family. However, with \emph{nonlinear} parametric approximations (such as neural networks), TD is not guaranteed to converge to a good approximation of the true value function within the family, and is known to diverge even in relatively simple cases. TD lacks an interpretation as a stochastic gradient descent of an error between the true and approximate value functions, which would provide such guarantees. We prove that approximate TD is a gradient descent provided the current policy is \emph{reversible}. This holds even with nonlinear approximations. A policy with transition probabilities $P(s,s')$ between states is reversible if there exists a function $μ$ over states such that $\frac{P(s,s')}{P(s',s)}=\frac{μ(s')}{μ(s)}$. In particular, every move can be undone with some probability. This condition is restrictive; it is satisfied, for instance, for a navigation problem in any unoriented graph. In this case, approximate TD is exactly a gradient descent of the \emph{Dirichlet norm}, the norm of the difference of \emph{gradients} between the true and approximate value functions. The Dirichlet norm also controls the bias of approximate policy gradient. These results hold even with no decay factor ($γ=1$) and do not rely on contractivity of the Bellman operator, thus proving stability of TD even with $γ=1$ for reversible policies.

연구 동기 및 목표

• 신경망과 같은 비선형 함수 근사기를 사용할 때 근사 TD 학습의 이론적 수렴 보장이 부족한 문제를 해결하기 위해.
• 기존에는 어떤 목적 함수를 최소화하는지 알려져 있지 않은 근사 TD에 대해 경사 기반 해석을 제공하기 위해.
• 벨만 연산자가 수축적이지 않을 경우에도 TD가 의미 있는 해로 수렴할 수 있는 조건을 설정하기 위해.
• 딜레클 노름이 정책 그래เดียน트 추정의 편향과 근사 오차를 모두 통제함을 보여주기 위해.
• TD가 안정적이고 해석 가능한 경사 하강 알고리즘으로 작동하는 가역 정책이라는 정책 클래스를 특정하기 위해.

제안 방법

• 정책의 가역성을 정의한다. 즉, 모든 전이가 양의 확률로 뒤집힐 수 있도록 정(stationary distribution) μ가 존재하여 P(s,s′)/P(s′,s) = μ(s′)/μ(s)를 만족하는 것.
• 진정한 값 함수 V와 근사 함수 Ũ 사이의 오차를 측정하기 위해 딜레클 노름을 도입한다. 이는 전이 확률과 정적분포를 통해 정의되며, ||Ũ−V||²_Dir = E_{s,s′} [ (Ũ(s′)−Ũ(s)−V(s′)+V(s))² ] μ(s)P(s,s′)로 표현된다.
• TD 업데이트 규칙이 딜레클 노름 오차에 대한 경사 하강법 단계와 수학적으로 동일하다는 것을 증명한다. 이때 단계 크기는 η/2이다.
• 딜레클 노름이 근사 정책 그래디언트 방법의 편향을도 기여함을 보여주며, 값 함수 근사 품질과 정책 최적화 성능 간의 직접적인 연결 고리를 제공한다.
• 메트로폴리스–해스팅스 알고리즘을 사용하여 탐색 문제에 대한 가역 정책을 구성함으로써 이 이론의 실용적 적용 가능성을 확보한다.
• 기존 분석과 달리, γ→1에 가까워질수록 수렴 속도가 악화되지 않음을 입증한다.

실험 결과

연구 질문

• RQ1 근사 TD 학습이 잘 정의된 목적 함수에 대한 경사 하강법과 동일한 조건은 무엇인가?
• RQ2 비선형 함수 근사기를 사용할 때 TD의 수렴성을 이론적으로 보장할 수 있으며, 만약 가능하면 어떤 가정 하에 가능한가?
• RQ3 딜레클 노름이 강화 학습에서 근사 오차와 정책 그래디언트 편향과 어떻게 관련이 있는가?
• RQ4 왜 일반적으로 비선형 근사기에서는 TD 학습이 수렴하지 못하는가? 그리고 정책 클래스를 제한함으로써 이 문제를 해결할 수 있는가?
• RQ5 γ=1일 때 TD의 안정성을 이론적으로 설명할 수 있으며, 만약 가능하면 정책의 어떤 구조적 가정 하에 가능한가?

주요 결과

• 정책이 가역적일 경우 근사 TD 학습은 정확히 값 함수 오차의 딜레클 노름에 대한 경사 하강법이다.
• 딜레클 노름은 근사 정책 그래디언트 방법의 편향을 통제하며, 값 함수 근사 품질과 정책 최적화 안정성 간의 직접적인 연결 고리를 제공한다.
• 정책이 가역적이라면, γ=1이어도 TD 학습의 수렴이 보장된다.
• TD의 수렴 속도는 γ에 의존하지 않으며, γ→1에 가까워져도 안정적으로 유지된다. 이는 기존 분석에서 감소하는 학습률이 필요로 하는 것과는 다르다.
• 방향이 없는 그래프에서의 탐색 문제에 대해, 메트로폴리스–해스팅스 알고리즘을 사용하여 가역 정책을 체계적으로 구성할 수 있으며, 이는 이 이론의 실용적 구현 가능성을 높인다.
• 딜레클 노름은 인접한 상태 간의 값 차이를 정확히 반영하므로, 상대적 값 비교가 중요한 문제에 적합하다.