[논문 리뷰] Dynamic Policy Programming

Mohammad Gheshlaghi Azar, Vicenç Gómez외 1명|arXiv (Cornell University)|2010. 04. 12.

Reinforcement Learning in Robotics참고 문헌 22인용 수 4

한 줄 요약

이 논문은 유한한 수렴 시간 내에서 근사 오차의 평균을 고려함으로써 성능 손실을 줄이는 새로운 정책 반복 방법인 동적 정책 프로그래밍(Dynamic Policy Programming, DPP)을 제안한다. 기존의 근사 가치 반복(Approximate Value Iteration, AVI)과 정책 반복(Policy Iteration, API)과 달리, DPP는 성능 손실을 각 반복 단계의 오차 최댓값이 아닌 누적된 평균 오차의 ℓ∞-노름으로 제한함으로써 몬테카를로 샘플링 노이즈에 대해 더 뛰어난 내성과 더 나은 경험적 성능을 보인다. 모든 테스트 환경에서 성능이 향상된다.

ABSTRACT

In this paper, we propose a novel policy iteration method, called dynamic policy programming (DPP), to estimate the optimal policy in the infinite-horizon Markov decision processes. We prove the finite-iteration and asymptotic l\infty-norm performance-loss bounds for DPP in the presence of approximation/estimation error. The bounds are expressed in terms of the l\infty-norm of the average accumulated error as opposed to the l\infty-norm of the error in the case of the standard approximate value iteration (AVI) and the approximate policy iteration (API). This suggests that DPP can achieve a better performance than AVI and API since it averages out the simulation noise caused by Monte-Carlo sampling throughout the learning process. We examine this theoretical results numerically by com- paring the performance of the approximate variants of DPP with existing reinforcement learning (RL) methods on different problem domains. Our results show that, in all cases, DPP-based algorithms outperform other RL methods by a wide margin.

연구 동기 및 목표

• 추정 오차 하에서 근사 동적 프로그래밍에서 성능 손실를 줄이는 정책 반복 방법을 개발하는 것.
• AVI와 API의 한계를 해결하기 위해, 각 반복 단계의 오차 최댓값에 의존하고 고분산 몬테카를로 샘플링에 민감한 기존 방법의 문제점을 해결하는 것.
• 각 반복 단계의 오차 최댓값이 아닌 누적된 평균 오차의 ℓ∞-노름에 따라 유한 반복 및 점근적 성능 손실 한계를 증명하는 것.
• 함수 근사와 몬테카를로 시뮬레이션에 호환되는 샘플 기반, 수렴 가능한 강화학습 알고리즘(DPP-RL)을 설계하는 것.
• DPP 기반 방법이 다양한 도메인에서 기존 강화학습 알고리즘을 능가함을 경험적으로 검증하는 것. 특히 고분산 환경에서 성능이 뛰어나다.

제안 방법

• DPP는 현재 반복 단계의 오차만 최소화하는 것이 아니라, 이전 모든 반복 단계의 근사 오차를 누적하여 점진적인 정책 업데이트를 수행한다.
• Bellman 최적성 연산자를 근사하기 위해 소프트맥스 연산자를 사용함으로써 정책 업데이트를 미분 가능하고 안정적으로 만든다.
• 성능 손실 한계를 각 반복 단계의 오차 ‖εk‖ 대신 누적 평균 오차의 ℓ∞-노름 ‖𝔼k‖/(k+1)로 제시한다.
• 추정 오차가 유계일 경우, 마팅게일 차분에 대한 강한 대수법칙을 이용하여 DPP-RL의 수렴성을 증명한다.
• 함수 근사와 몬테카를로 샘플링에 적합하도록 설계되어, 큰 또는 연속적인 상태-행동 공간에 적용 가능하다.
• 약한 조건 하에서 반복값과 추정 오차가 균일하게 유계로 유지됨을 보여주는 안정성 보조정리를 증명함으로써 수렴성을 보장한다.

실험 결과

연구 질문

• RQ1 성능 손실 한계가 과거 근사 오차의 평균에 의존하는 정책 반복 방법을 설계할 수 있는가?
• RQ2 반복 단계 간의 추정 오차 평균화가 고분산 몬테카를로 샘플링 환경에서 더 뛰어난 내성과 성능을 제공하는가?
• RQ3 오차 평균화를 고려할 때도 이론적 수렴 보장을 유지하는 샘플 기반, 함수 근사 호환 강화학습 알고리즘을 구축할 수 있는가?
• RQ4 DPP는 샘플링 노이즈가 존재하는 실제 강화학습 환경에서 기존의 AVI 및 API 방법보다 성능이 뛰어나게 되는가?
• RQ5 몬테카를로 추정에서 유계인 마팅게일 차분 오차 하에서 DPP-RL 알고리즘의 점근적 수렴성이 보장되는가?

주요 결과

• DPP의 점근적 ℓ∞-노름 성능 손실 한계는 각 반복 단계의 오차 최댓값이 아닌 누적 평균 오차 ‖𝔼k‖/(k+1)에 비례하므로 샘플링 분산에 대해 더 뛰어난 내성 확보가 가능하다.
• 오차가 고분산일 경우 반복 단계 간 오차 평균화 덕분에 DPP의 한계는 AVI 및 API보다 더 날카롭게 좁혀진다.
• DPP-RL은 유계 마팅게일 차분 오차 하에서 최적 정책으로 거의 확실히 수렴함을 증명하였다.
• 수치 실험 결과 DPP 기반 알고리즘은 최적 교체 문제와 스토케스틱 그리드 월드를 포함한 여러 도메인에서 AVI, API 및 기타 강화학습 기준 성능을 뛰어넘는다.
• 경험적 결과는 기존 방법에 비해 DPP가 특히 고분산 환경에서 성능 손실를 크게 줄임을 확인한다.
• 이론적 및 경험적 결과를 종합하면 DPP는 근사 동적 프로그래밍에서 몬테카를로 샘플링 노이즈의 영향을 체계적으로 줄이는 데 효과적인 방법임을 입증한다.