[논문 리뷰] The Local Optimality of Reinforcement Learning by Value Gradients, and its Relationship to Policy Gradient Learning

Michael Fairbank, Eduardo Alonso|arXiv (Cornell University)|2011. 01. 02.

Reinforcement Learning in Robotics참고 문헌 19인용 수 10

한 줄 요약

이 논문은 연속 상태 공간에서 강화학습의 국소 최적성을 달성하기 위해 경로를 따라 가치 함수의 기울기를 직접 학습하는 값 기울기 학습(VGL)을 제안한다. 단일 경로를 따라 값 기울기를 갱신하면 국소 극치성과 자주 국소 최적성이 보장되며, 가치 함수에 대해 탐욕 정책을 사용할 경우 VGL과 정책 기울기 학습 간 놀라운 등가성을 확립하여 일반 함수 근사기와 함께 수렴 가능함을 보여준다.

ABSTRACT

In this theoretical paper we are concerned with the problem of learning a value function by a smooth general function approximator, to solve a deterministic episodic control problem in a large continuous state space. It is shown that learning the gradient of the value-function at every point along a trajectory generated by a greedy policy is a sufficient condition for the trajectory to be locally extremal, and often locally optimal, and we argue that this brings greater efficiency to value-function learning. This contrasts to traditional value-function learning in which the value-function must be learnt over the whole of state space. It is also proven that policy-gradient learning applied to a greedy policy on a value-function produces a weight update equivalent to a value-gradient weight update, which provides a surprising connection between these two alternative paradigms of reinforcement learning, and a convergence proof for control problems with a value function represented by a general smooth function approximator.

연구 동기 및 목표

• 기존 가치 함수 학습이 비효율적인 대규모 연속 상태 공간에서 최적 정책을 학습하는 데 도전하는 것.
• 전체 상태공간 갱신 없이도 단일 경로를 따라 값 기울기를 학습하는 것으로도 국소 최적성이 달성됨을 보여주는 것.
• 탐욕 정책 하에서 값 기울기 학습과 정책 기울기 방법 간 이론적 연결을 구축하고, 그 등가성을 입증하는 것.
• 일반적인 매끄러운 함수 근사기를 사용하는 결정론적 환경에서 제어 문제에 대해 수렴성 증명을 제공하는 것.

제안 방법

• 값 함수의 기울기를 경로를 따라 최적화하기 위한 값 기울기 학습(VGL)을 제안하며, 값 함수에 대해 매끄러운 함수 근사기를 사용한다.
• 신경망 가중치에 대한 값 함수 기울기의 기울기를 사용하여 가중치 갱신 규칙을 유도하며, 신뢰도 추적을 통해 시간에 걸친 책임 할당을 수행한다.
• 값 기울기 갱신과 역동성 야코비안 $ \frac{Df}{D\vec{x}} $ 를 통한 시간적 책임 할당을 결합한 재귀적 신뢰도 추적 행렬 $ E_t $ 를 도입한다.
• 즉각적이고 미래의 시간적 책임을 균형 잡기 위해 부트스트랩 파라미터 $ \lambda \in [0,1] $ 를 사용하여 TD(0)를 값 기울기로 일반화한다.
• VGL(λ) 알고리즘을 온라인, 경로 기반 방식으로 적용하여 각 단계 후 국소 기울기와 신뢰도 추적을 사용해 가중치를 갱신한다.
• 정책이 값 함수에 대해 탐욕일 경우 VGL 가중치 갱신이 정책 기울기 갱신과 수학적으로 등가임을 증명하여 두 주요 RL 철학 간 깊은 이론적 연결을 확립한다.

실험 결과

연구 질문

• RQ1 단일 경로를 따라 값 함수의 기울기를 학습하는 것이 결정론적 연속 제어 문제에서 국소 최적 행동을 이끌 수 있는가?
• RQ2 탐욕 정책 하에서 값 기울기 학습과 정책 기울기 학습 간 이론적 관계는 무엇인가?
• RQ3 일반 함수 근사기를 사용하는 값 기울기 학습이 정책 기울기 방법과 동일한 조건에서 수렴하는가?
• RQ4 신뢰도 추적을 어떻게 값 기울기 학습에 적응시켜 안정적이고 효율적인 책임 할당을 보장할 수 있는가?

주요 결과

• 경로를 따라 값 기울기를 학습하는 것은 전체 상태공간 갱신 없이도 경로가 국소 극치가 되는 충분조건이며, 자주 국소 최적성에 도달함을 보여준다.
• 정책이 값 함수에 대해 탐욕일 경우 VGL(λ) 가중치 갱신 규칙은 정책 기울기 갱신과 수학적으로 등가이며, 두 철학 간 깊은 이론적 연결을 확립한다.
• 이 방법은 기존의 TD(λ)가 유사 조건에서 실패할 수 있는 제어 문제에 대해서도 일반적인 매끄러운 함수 근사기를 사용해 수렴 가능하게 한다.
• 신뢰도 추적 행렬 $ E_t $ 는 역동성 야코비안을 사용하여 시간에 걸쳐 값 기울기 책임을 효과적으로 전파하며, VGL에서 시간적 책임 할당을 가능하게 한다.
• 지역 기울기 정보에 집중함으로써 결정론적 환경에서 광범위한 탐색이나 확률적 성격이 필요 없음을 보여준다.
• 이 방법은 비선형 함수 근사기에도 강건하며, 제안된 프레임워크 하에서 수렴 보장을 제공한다. 이는 탐욕 정책을 사용하는 표준 TD(λ)와는 다릅니다.