[논문 리뷰] Lambda-Policy Iteration with Randomization for Contractive Models with Infinite Policies: Well-Posedness and Convergence (Extended Version)

Yuchao Li, Karl Henrik Johansson외 1명|arXiv (Cornell University)|2019. 12. 18.

Reinforcement Learning in Robotics참고 문헌 14인용 수 4

한 줄 요약

이 논문은 수렴성 있는 마코프 결정 과정(MDP)에 대해 람다-정책 반복의 무작위화를 확장한 λ-PIR(λ-Policy Iteration with Randomization)를 제안하며, 무한한 정책을 가진 경우에도 잘 정의되어 있음을 증명하고, 조건이 약간만 추가되어도 거의 확실한 수렴성을 확립한다. 또한 모델이 수렴성일 경우 무한한 정책 공간에서도 λ-PIR가 수렴성을 유지함을 보이며, 제약 조건이 있는 선형 및 비선형 제어 문제에서 최적 비용 함수를 근사하기 위한 데이터 기반 구현 방식을 제공하여 뛰어난 경험적 성능을 보인다.

ABSTRACT

Abstract dynamic programming models are used to analyze $λ$-policy iteration with randomization algorithms. Particularly, contractive models with infinite policies are considered and it is shown that well-posedness of the $λ$-operator plays a central role in the algorithm. The operator is known to be well-posed for problems with finite states, but our analysis shows that it is also well-defined for the contractive models with infinite states studied. Similarly, the algorithm we analyze is known to converge for problems with finite policies, but we identify the conditions required to guarantee convergence with probability one when the policy space is infinite regardless of the number of states. Guided by the analysis, we exemplify a data-driven approximated implementation of the algorithm for estimation of optimal costs of constrained linear and nonlinear control problems. Numerical results indicate potentials of this method in practice.

연구 동기 및 목표

• 유한 정책 MDP에서 무한 정책 MDP로 λ-정책 반복의 무작위화(λ-PIR)를 확장하는 것.
• 무한 상태 및 무한 정책을 가진 수렴성 모델에서 λ-연산자의 잘 정의됨을 입증하는 것.
• 정책 공간이 무한한 경우 λ-PIR의 거의 확실한 수렴성을 보장하는 충분조건을 규명하는 것.
• 실시간 제어를 위한 약간의 데이터 기반 근사 구현 방식을 개발하는 것. 이는 약간의 동적 프로그래밍(ADP) 프레임워크 내에서 이루어진다.
• 수치 실험을 통해 제약 조건이 있는 선형 및 비선형 제어 문제에 대해 방법의 성능을 검증하는 것.

제안 방법

• 무한 상태 및 무한 정책 설정에서 λ-연산자의 성질을 분석하기 위해 추상적 동적 프로그래밍 모델을 사용한다.
• 모델의 수렴성 특성에 기반해 λ-연산자가 수렴성 모델에서 잘 정의되어 있음을 증명하며, 유한 상태 사례의 결과를 일반화한다.
• 무한 정책 문제에서 λ-PIR의 수렴 조건을 도입하며, 문제가 선형적 구조를 띠면 이 조건을 완화할 수 있음을 제시한다.
• 온라인 학습을 위해 함수 근사(예: 매개변수화된 비용 함수)를 활용한 데이터 기반 λ-PIR 근사 구현을 제안한다.
• 시간 차분 학습 원리와 가까운 알고리즘의 통찰을 활용해 수렴성과 안정성을 유지한다.
• 반복적 정책 평가 및 향상 과정을 통해 λ-정규화된 업데이트를 사용하는 ADP 프레임워크에 알고리즘을 통합한다.

실험 결과

연구 질문

• RQ1 무한 상태 및 무한 정책을 가진 수렴성 마코프 결정 과정에서 λ-연산자는 잘 정의되어 있는가?
• RQ2 정책 공간이 비가산적으로 무한한 경우 λ-PIR의 거의 확실한 수렴성을 보장하는 조건은 무엇인가?
• RQ3 수렴 보장 조건을 잃지 않고 λ-PIR를 무한 정책 문제에 효과적으로 적용할 수 있는가?
• RQ4 실시간 제어를 위한 제약 조건이 있는 시스템에 적합한 데이터 기반 근사 형태로 λ-PIR를 어떻게 구현할 수 있는가?
• RQ5 제안된 방법은 수렴 속도와 샘플 효율성 측면에서 표준 VI와 OPI를 능가하는가?

주요 결과

• 수렴성 모델에서 무한 상태 및 무한 정책을 가진 경우 λ-연산자는 모델의 수렴성 특성에 의존하여 잘 정의되어 있다.
• 정책 공간이 무한하더라도 약간의 추가 조건이 있으면 λ-PIR가 최적 비용 함수로 거의 확실하게 수렴함이 보장된다.
• 문제가 선형적 구조를 띠면 수렴 조건를 제거할 수 있어 이론적 요구 조건이 간소화된다.
• 수치 결과에서 데이터 기반 구현된 λ-PIR가 표준 값 반복(VI)과 낙관적 정책 반복(OPI)보다 더 빠른 수렴 속도와 향상된 제어 성능을 보였다.
• 선형 및 비선형 제어 예제 모두에서 추정된 비용 함수는 단 5회의 반복 후 수렴하였고, 이로 인해 닫힌 루프 시스템의 성능 향상이 뚜렷하게 관찰되었다.
• 이 방법은 가까운 알고리즘의 빠른 수렴성과 값 반복의 안정성 특성을 효과적으로 조합하여, 샘플 효율성 측면에서 OPI를 능가한다.