[논문 리뷰] Optimal Reinforcement Learning for Gaussian Systems

Philipp Hennig|arXiv (Cornell University)|2011. 06. 04.

Advanced Bandit Algorithms Research참고 문헌 29인용 수 10

한 줄 요약

이 논문은 베이지안 불확실성 하에서 최적의 학습 역학을 기술하는 일阶 무한차원 편미분방정식을 유도하여 비선형이고 시간에 따라 변하는 가우시안 시스템에 대한 최적 강화학습을 수립한다. 주요 기여는 탐색과 이용을 동시에 제어할 수 있는 미분방정식 프레임워크를 제공함으로써, 기존 표준 방법보다 벤치마크 과제에서 뛰어난 성능을 보이는 새로운 가우시안 프로세스 기반 강화학습 알고리즘을 가능하게 한다.

ABSTRACT

The exploration-exploitation trade-off is among the central challenges of reinforcement learning. The optimal Bayesian solution is intractable in general. This paper studies to what extent analytic statements about optimal learning are possible if all beliefs are Gaussian processes. A first order approximation of learning of both loss and dynamics, for nonlinear, time-varying systems in continuous time and space, subject to a relatively weak restriction on the dynamics, is described by an infinite-dimensional partial differential equation. An approximate finite-dimensional projection gives an impression for how this result may be helpful.

연구 동기 및 목표

• 지속적인 시간과 공간에서 불확실성 하에서 해석이 불가능한 베이지안 최적 강화학습 문제를 해결하기 위해.
• 비선형이고 시간에 따라 변하는 시스템에서 최적의 탐색-이용 균형을 확보할 수 있는 실용적인 분석적 프레임워크를 개발하기 위해.
• 카르만 필터링과 가우시안 프로세스에 관한 이전 연구를 일반적인 비선형 역학과 손실 함수로 확장하기 위해.
• 학습 과정의 기술을 기술하는 미분방정식을 유도하여, 학습과 시스템 행동 양쪽에 대한 최적 제어를 가능하게 하기 위해.

제안 방법

• 알려진 커널과 사전 분포를 가진 독립적인 가우시안 프로세스를 사용하여 역학과 손실 함수의 불확실성을 모델링하기 위해.
• 베이지안 추론 하에서 최적 학습의 진화를 지배하는 일阶 무한차원 편미분방정식을 유도하기 위해.
• 실제 계산을 가능하게 하기 위해 함수형을 사용하여 무한차원 역학을 유한차원 부분공간에 투영하기 위해.
• 알고리즘 구현을 위해 문제를 유한차원 최소제곱 추정으로 축소하기 위해 변분 근사법을 사용하기 위해.
• 결과로 도출된 알고리즘을 퓌루타 펜듈럼과 카트 앤 폴 시스템과 같은 제어 과제에 적용하기 위해.
• TD(λ), ε-그리디, 카르만 필터 기반 학습자와 같은 기준 방법과의 성능 비교를 통해 검증하기 위해.

실험 결과

연구 질문

• RQ1 믿음이 가우시안 프로세스일 때 최적 강화학습이 미분방정식으로 기술될 수 있는가?
• RQ2 비선형이고 시간에 따라 변하는 연속적 시스템에서 탐색-이용 균형을 어떻게 최적으로 균형 잡을 수 있는가?
• RQ3 가우시안 프로세스 사전 분포 하에서의 최적 학습 역학의 구조는 어떠한가?
• RQ4 무한차원 최적 학습 과정 제어를 실무적으로 어떻게 근사할 수 있는가?
• RQ5 가우시안 프로세스 사전 분포는 기존에 해석이 불가능한 베이지안 강화학습 문제에 대해 어떤 정도 실용적인 해법을 가능하게 하는가?

주요 결과

• 가우시안 시스템에 대한 최적 강화학습 과정은 믿음과 제어의 진화를 지배하는 일阶 무한차원 편미분방정식으로 기술된다.
• 함수형을 통한 유한차원 근사화는 최소제곱 추정 기반의 실용적인 강화학습 알고리즘을 가능하게 한다.
• 제안된 가우시안 프로세스 학습자는 퓌루타 펜듈럼 과제에서 할인 손실 6.0 ± 1.4을 달성하여 TD(λ)와 카르만 필터 기반 기준 방법을 초월했다.
• GP 기반 방법은 펜듈럼을 성공적으로 들었다. 반면 다른 방법들은 거의 탐색을 하지 못하고 안정화에 실패했다.
• 결과는 최적의 탐색이 보수적이거나 적절하지 않은 방법으로는 달성될 수 없으며, 특히 시간에 따라 변하거나 할인된 문제에서는 더욱 그러하다는 것을 보여준다.
• 이 방법은 사전 가정이 예측 및 제어 성능에 결정적인 역할을 한다는 점을 강조하며, 모델 의존성에서 벗어날 수 없다는 점을 시사한다.