[논문 리뷰] Reinforcement Learning by Value Gradients

Michael Fairbank|ArXiv.org|2008. 03. 25.

Reinforcement Learning in Robotics참고 문헌 24인용 수 20

한 줄 요약

이 논문은 연속적이고 결정적인 제어 문제에서 강화학습의 핵심 메커니즘으로 상태에 대한 가치함수의 기울기인 밸류그라디언트(value-gradients)를 도입한다. 가치만을 학습하는 것 대신 밸류그라디언트를 학습함으로써, 확률적 탐색이 필요 없이 직접적인 기울기 기반 정책 개선이 가능해지며, 기존의 가치학습 방법에 비해 수개의 주기수의 수렴 보장과 효율성 향상을 달성한다.

ABSTRACT

The concept of the value-gradient is introduced and developed in the context of reinforcement learning. It is shown that by learning the value-gradients exploration or stochastic behaviour is no longer needed to find locally optimal trajectories. This is the main motivation for using value-gradients, and it is argued that learning value-gradients is the actual objective of any value-function learning algorithm for control problems. It is also argued that learning value-gradients is significantly more efficient than learning just the values, and this argument is supported in experiments by efficiency gains of several orders of magnitude, in several problem domains. Once value-gradients are introduced into learning, several analyses become possible. For example, a surprising equivalence between a value-gradient learning algorithm and a policy-gradient learning algorithm is proven, and this provides a robust convergence proof for control problems using a value function with a general function approximator.

연구 동기 및 목표

• 연속적이고 결정적인 제어 문제에서 함수 근사기를 사용하는 가치함수 방법에 대한 수렴 보장의 부재를 해결하기 위해.
• 값 자체가 아니라 밸류그라디언트가 가치함수 학습 알고리즘의 진정한 목적임을 입증하기 위해.
• 밸류그라디언트 학습(VGL)이 이웃하는 더 나은 궤적에 대한 내재된 인식을 제공함으로써 탐색이 필요 없음을 보여주기 위해.
• VGL과 정책그라디언트 학습 간의 이론적 동치성을 확립하여, 일반적인 함수 근사기를 사용하는 가치함수 방법에 대한 수렴 증명을 가능하게 하기 위해.
• 일부 설정에서 잔여기울기 항과 액터-크리틱 아키텍처의 비효율성과 중복성을 비판하고 이를 밝혀내기 위해.

제안 방법

• 상태 벡터에 대한 가치함수의 기울기인 밸류그라디언트를 제안하여 국소 궤적 최적화를 가능하게 한다.
• 폰트리아긴의 최대원리와 쌍대 벡터를 사용하여 연속시간 밸류그라디언트 학습 알고리즘을 유도한다.
• 밸류그라디언트 학습 알고리즘과 정책그라디언트 학습 간의 동치성을 증명하며, 일반적인 함수 근사기를 사용하는 가치함수 방법에 대한 수렴 보장을 제공한다.
• 확률적 행동 편향을 통해 탐색을 암묵적으로 포함하는 새로운 액터 학습 업데이트를 제안한다.
• 액터-크리틱 아키텍처를 분석하고, 기울기 정보에 의해 단순화가 가능해지므로 밸류그라디언트를 사용할 경우 이들이 중복됨을 보여준다.
• 백프로파게이션스루타임(BPTT)과 미분 동적 프로그래밍(DDP)을 밸류그라디언트 타겟의 암묵적 소스로 사용한다.

실험 결과

연구 질문

• RQ1 밸류그라디언트는 결정적이고 연속적인 제어 문제에서 탐색이 필요 없게 할 수 있는가?
• RQ2 밸류그라디언트 학습과 정책그라디언트 학습 간에 본질적인 동치성이 존재하는가?
• RQ3 왜 잔여기울기 방법은 결정적 환경에서 실패하는가? 이는 이론적으로 설명될 수 있는가?
• RQ4 밸류그라디언트를 사용할 경우 액터-크리틱 아키텍처는 단순화되거나 중복이 될 수 있는가?
• RQ5 일반적으로 사용되는 TD(λ) 가중치 업데이트 규칙의 이론적 근거는 무엇이며, 밸류그라디언트와의 관계는 무엇인가?

주요 결과

• 밸류그라디언트 학습(VGL)은 이웃 궤적에 대한 내재된 기울기 정보를 제공함으로써 결정적 환경에서 국소 탐색이 필요 없음을 보여준다.
• 밸류그라디언트 학습 알고리즘이 정책그라디언트 학습과 수학적으로 동치임을 증명하며, 일반적인 함수 근사기를 사용하는 가치함수 방법에 대한 수렴 증명을 가능하게 한다.
• 잔여기울기 항은 결정적 환경에서 VGL과 기존 가치학습 모두에 대해 효과가 없으며, 부트스트랩 노이즈가 없기 때문이다.
• 밸류그라디언트를 사용할 경우 액터-크리틱 아키텍처는 중복이 되며, 가치그라디언트 정보만으로도 정책 개선과 수렴이 충분히 가능하다.
• 실험 결과, 토이 문제와 루나랜더 신경망 작업 모두에서 기존 가치학습 방법에 비해 수개의 주기수의 효율성 향상을 보이며, VGL이 더 우수한 성능을 보였다.
• 논문은 TD(λ) 업데이트 규칙에 대해 이론적 근거를 제공하며, 특히 λ=1일 경우 밸류그라디언트 역학과의 일치를 보여준다.