[논문 리뷰] Nonparametric Stochastic Compositional Gradient Descent for Q-Learning in Continuous Markov Decision Problems

Alec Koppel, Ekaterina Tolstaya외 2명|arXiv (Cornell University)|2018. 04. 19.

Stochastic Gradient Optimization Techniques참고 문헌 36인용 수 5

한 줄 요약

이 논문은 연속적인 마르코프 결정 과정(MDP)에서 Q-학습을 위한 비모수적 스토하스틱 복합 경사하강법인 KQ-Learning을 제안한다. 재생 커널 힐버트 공간(RKHS)에서 벨먼 최적성 방정식을 중첩된 스토하스틱 프로그래밍으로 공식화하고, 기능적 스토하스틱 준경사 방법과 커널 수직 매칭 퇄법을 결합함으로써, 벨먼 연산자의 정적점으로 거의 확실히 수렴하는 알고리즘을 구현한다. 이는 증명된 바 있는 메모리 복잡도 감소와 표준 제어 과제에서 경쟁 가능한 성능을 달성한다.

ABSTRACT

We consider Markov Decision Problems defined over continuous state and action spaces, where an autonomous agent seeks to learn a map from its states to actions so as to maximize its long-term discounted accumulation of rewards. We address this problem by considering Bellman's optimality equation defined over action-value functions, which we reformulate into a nested non-convex stochastic optimization problem defined over a Reproducing Kernel Hilbert Space (RKHS). We develop a functional generalization of stochastic quasi-gradient method to solve it, which, owing to the structure of the RKHS, admits a parameterization in terms of scalar weights and past state-action pairs which grows proportionately with the algorithm iteration index. To ameliorate this complexity explosion, we apply Kernel Orthogonal Matching Pursuit to the sequence of kernel weights and dictionaries, which yields a controllable error in the descent direction of the underlying optimization method. We prove that the resulting algorithm, called KQ-Learning, converges with probability 1 to a stationary point of this problem, yielding a fixed point of the Bellman optimality operator under the hypothesis that it belongs to the RKHS. Under constant learning rates, we further obtain convergence to a small Bellman error that depends on the chosen learning rates. Numerical evaluation on the Continuous Mountain Car and Inverted Pendulum tasks yields convergent parsimonious learned action-value functions, policies that are competitive with the state of the art, and exhibit reliable, reproducible learning behavior.

연구 동기 및 목표

• 연속 상태 및 연속 행동 마르코프 결정 과정(MDP)에 대해 증명 가능하게 수렴하고 안정적인 강화학습 알고리즘이 부족한 문제를 해결하기 위해.
• 재생 커널 힐버트 공간(RKHS)에서의 비모수적 함수 표현을 활용하여, 무한 시간 할인, 연속 공간 MDP에서의 차원의 극복과 계산의 비가역성 문제를 해결하기 위해.
• 벨먼 최적성 연산자의 고정점으로 거의 확실히 수렴하는 메모리 효율적인 비모수적 스토하스틱 최적화 방법을 개발하기 위해.
• 커널 수직 매칭 퇄법을 통한 커널 사전 선택을 통해 학습된 Q-함수의 해석 가능하고 흩어지지 않은, 효율적인 표현을 가능하게 하기 위해.
• 표준 연속 제어 벤치마크에서 딥 러닝 기반 접근법보다 훨씬 적은 학습 샘플로도 경쟁 가능한 정책 성능을 달성하기 위해.

제안 방법

• 재생 커널 힐버트 공간(RKHS)에서 벨먼 최적성 방정식을 비볼록 스토하스틱 최적화 문제로 재구성한다.
• 무한차원 최적화 문제를 해결하기 위해 스토하스틱 준경사 하강법의 기능적 일반화를 적용하며, 스칼라 가중치와 과거 상태-행동 쌍으로 매개변수화한다.
• 커널 수직 매칭 퇄법(KOMP)을 사용하여 과거 상태-행동 쌍의 희소 부분집합을 커널 사전 점으로 탐색함으로써 내림값 방향 오차를 통제하고 메모리 성장률을 제한한다.
• 탐색률을 점차 감소시키는 $ρ$-그리디와 균일한 랜덤 행동을 조합한 하이브리드 탐색 전략을 도입하여 이용과 탐색의 균형을 확보한다.
• 학습 효율성 향상과 학습 안정성 향상을 위해 리play 버퍼(산타루스 리플레이를 포함한 마운틴 카에서의 적용)를 활용한다.
• 수렴 모니터링을 위해 Q-함수의 힐버트 노름으로 정규화된 벨먼 오차의 표본 평균 근사를 사용하여 강건한 평가를 수행한다.

실험 결과

연구 질문

• RQ1 무한차원 행동-가치 함수를 가진 연속 MDP에서 거의 확실히 수렴하는 비모수적 기능적 스토하스틱 준경사 방법을 설계할 수 있는가?
• RQ2 수렴 보장이나 해의 정확도를 희생시키지 않고 커널 기반 Q-학습의 메모리 복잡도를 어떻게 제어할 수 있는가?
• RQ3 제안된 방법은 딥 러닝 기반 방법보다 훨씬 적은 학습 샘플로 표준 연속 제어 벤치마크에서 경쟁 가능한 정책 성능을 달성하는가?
• RQ4 커널 사전의 해석 가능성은 연속 상태-행동 공간에서 학습된 Q-함수와 정책의 이해를 어떻게 향상시키는가?
• RQ5 리플레이 버퍼와 우선순위 경험 리플레이의 영향은 다양한 MDP 구조에서 학습 안정성과 수렴에 어떤 영향을 미치는가?

주요 결과

• 진짜 Q-함수가 RKHS에 속해 있을 경우, 일정 학습률 하에서 KQ-Learning은 벨먼 최적성 연산자의 정적점으로 거의 확실히 수렴한다.
• 연속적인 마운틴 카와 역행파레드 펜듈럼 과제 모두에서 정규화된 벨먼 테스트 오차가 낮은 값으로 수렴하며, 평균 보상은 각각 벤치마크인 90과 -200에 수렴한다.
• 모델 복잡도는 커널 사전 점의 수로 측정되며, 학습 스텝 수와 비례하여 중간 정도로 유지되며, KOMP를 통한 효과적인 메모리 제어를 나타낸다.
• OpenAI Gym 벤치마크에서 경쟁 가능한 정책 성능을 달성하였으며, 딥 Q-학습 기반 방법보다 수십만 배 이상 적은 학습 예제로도 최첨단 성능을 달성하거나 초월한다.
• 결과적으로 도출된 Q-함수는 해석 가능하다: 커널 사전 점들은 고가치 정책에 핵심적인 상태-행동 공간의 고카버리지 영역을 드러낸다.
• 리플레이 버퍼는 펜듈럼 도메인에서 학습을 향상시키지만, 마운틴 카에서는 그렇지 않으며, 이는 리플레이의 효과성이 MDP의 보상 구조와 시간 동역학에 따라 달라질 수 있음을 시사한다.