[논문 리뷰] An Empirical Dynamic Programming Algorithm for Continuous MDPs

William B. Haskell, Rahul Jain외 2명|arXiv (Cornell University)|2017. 09. 21.

Reinforcement Learning in Robotics참고 문헌 29인용 수 4

한 줄 요약

이 논문은 랜덤화된 함수 근사와 경험적 벨먼 업데이트를 사용하여 연속 상태 마르코프 결정 과정에 대한 일반적인 경험적 동적 프로그래밍 알고리즘을 제안한다. 매개수 및 비매개수 함수 공간—특히 랜덤 파라미터화된 기저 함수와 재생 핵 힐버트 공간(RKHS)—을 결합하고 표본 기반 값 반복을 적용함으로써, 문제에 특화된 기저 함수 선택이 필요 없이 비점근적 표본 복잡도 한계와 수렴 보장을 달성한다.

ABSTRACT

We propose universal randomized function approximation-based empirical value iteration (EVI) algorithms for Markov decision processes. The `empirical' nature comes from each iteration being done empirically from samples available from simulations of the next state. This makes the Bellman operator a random operator. A parametric and a non-parametric method for function approximation using a parametric function space and the Reproducing Kernel Hilbert Space (RKHS) respectively are then combined with EVI. Both function spaces have the universal function approximation property. Basis functions are picked randomly. Convergence analysis is done using a random operator framework with techniques from the theory of stochastic dominance. Finite time sample complexity bounds are derived for both universal approximate dynamic programming algorithms. Numerical experiments support the versatility and effectiveness of this approach.

연구 동기 및 목표

• 수동으로 선택된 기저 함수가 필요 없는 연속 상태 MDP에 적용 가능한 일반적인 근사 동적 프로그래밍(ADP) 방법의 부족을 해결한다.
• 사전 문제 지식 없이도 이론적 성능 보장을 유지하면서 계산적으로 구현 가능한 ADP 알고리즘을 개발한다.
• 랜덤 연산자 프레임워크를 사용하여 연속 상태 MDP에서 값 함수 근사에 대한 비점근적 표본 복잡도 한계를 제공한다.
• 반복되는 랜덤 연산자에 대해 확률적 지배 기법을 적용하여 수렴 분석을 가능하게 하여 강건성과 계산 가능성을 확보한다.
• 최소한의 초모수 조정으로 벤치마크 제어 문제인 카트폴과 애크로봇에서의 경험적 효능을 입증한다.

제안 방법

• 각 벨먼 업데이트를 샘플링된 다음 상태 전이로부터 계산하는 경험적 값 학습(EVL)을 사용하여, 벨먼 연산자를 랜덤 연산자로 전환한다.
• 매개수 방법의 경우, 각 반복에서 기저 함수의 랜덤 파라미터를 샘플링하고 볼록 최적화를 통해 적합화한다.
• 비매개수 방법의 경우, 랜덤으로 샘플링된 상태로부터 가우시안 커널을 사용해 RKHS에서 기저 함수를 생성함으로써 초노름에서의 일반 근사 가능성을 확보한다.
• 확률적 지배 기법을 적용한 랜덤 연산자 프레임워크를 사용하여 수렴성을 분석하고, 비점근적 표본 복잡도 한계를 도출한다.
• 랜덤화된 함수 근사와 경험적 벨먼 업데이트를 결합하여 계산 비용을 감소시키고 차원의 극복 문제를 완화한다.
• 표준 파이썬 라이브러리를 활용하여 함수 적합을 구현함으로써 구현의 단순성과 기존 최적화 도구와의 호환성을 확보한다.

실험 결과

연구 질문

• RQ1 수동으로 선택된 기저 함수에 의존하지 않는 연속 상태 MDP에 대한 일반적 ADP 알고리즘을 설계할 수 있는가?
• RQ2 랜덤화된 함수 근사와 함께 경험적 동적 프로그래밍에 대한 비점근적 표본 복잡도 한계를 도출할 수 있는가?
• RQ3 랜덤 매개수 및 비매개수 함수 근사 방법 간의 수렴 속도와 계산 효율성은 어떻게 비교되는가?
• RQ4 부드럽거나 규칙적인 값 함수가 필요 없이 초노름 오차 보장을 달성할 수 있는가?
• RQ5 랜덤 기저 함수를 사용하는 경험적 벨먼 업데이트가 일반 조건 하에서도 안정성과 수렴성을 유지하는가?

주요 결과

• 카트폴 문제에서 EVL+RPBF 방법이 Fitted Value Iteration(FVI)와 EVL+RKHS를 모두 능가하여 더 높은 평균 에피소드 길이와 더 빠른 학습 속도를 기록했다.
• EVL+RKHS는 초노름 오차에 대한 유일한 알고리즘 보장을 제공했고, EVL+RPBF는 Lp오차 보장을 제공하며 훨씬 빠르게 작동하여 애크로봇 작업에서 평균적으로 각 반복당 3.67분을 절약했다.
• 애크로봇 문제에서 EVL+RPBF는 EVL+RKHS보다 더 뛰어난 성능과 더 빠른 수렴 속도를 기록했으며, 오차 노름 보장과 계산 효율성 사이의 상충 관계를 입증했다.
• 제안된 알고리즘은 랜덤 연산자 프레임워크를 통해 비점근적 표본 복잡도 한계를 달성했으며, 확률적 리아푸노프 방법에 의존하지 않고도 이론적 성능 보장을 가능하게 했다.
• 수치 실험을 통해 알고리즘의 계산 가능성과 다양한 MDP에 대한 유연성이 확인되었으며, 비연속적이거나 비정규적인 값 함수를 가진 문제들에서도 성능을 유지했다.
• 알고리즘의 일반성은 매개수 가족과 RKHS와 같은 일반 근사 성질을 가진 함수 공간의 사용에 기인하며, 임의의 연속 값 함수에 대해 임의로 좋은 근사를 보장한다.