[논문 리뷰] Approximate Policy Iteration Schemes: A Comparison

Bruno Scherrer|arXiv (Cornell University)|2014. 05. 12.

Reinforcement Learning in Robotics참고 문헌 15인용 수 36

한 줄 요약

이 논문은 무한할인 마르코프 결정 과정에서 네 가지 근사 정책 반복 기법—근사 정책 반복(Algorithmic Policy Iteration, API), 보수적 정책 반복(Conservative Policy Iteration, CPI), 동적 프rogramming를 통한 정책 탐색(PSDP∞), 비정상 정책 반복(NSPI(m))—을 비교한다. 농축 가능성 상수를 포함한 성능 한계를 수립하여, PSDP∞가 API와 유사한 반복 횟수와 메모리 효율성으로 CPI 수준의 성능 보장을 달성함을 보여주며, NSPI(m)는 메모리 소비와 성능 향상 사이의 트레이드오프를 제공한다.

ABSTRACT

We consider the infinite-horizon discounted optimal control problem formalized by Markov Decision Processes. We focus on several approximate variations of the Policy Iteration algorithm: Approximate Policy Iteration, Conservative Policy Iteration (CPI), a natural adaptation of the Policy Search by Dynamic Programming algorithm to the infinite-horizon case (PSDP$_\infty$), and the recently proposed Non-Stationary Policy iteration (NSPI(m)). For all algorithms, we describe performance bounds, and make a comparison by paying a particular attention to the concentrability constants involved, the number of iterations and the memory required. Our analysis highlights the following points: 1) The performance guarantee of CPI can be arbitrarily better than that of API/API($α$), but this comes at the cost of a relative---exponential in $\frac{1}ε$---increase of the number of iterations. 2) PSDP$_\infty$ enjoys the best of both worlds: its performance guarantee is similar to that of CPI, but within a number of iterations similar to that of API. 3) Contrary to API that requires a constant memory, the memory needed by CPI and PSDP$_\infty$ is proportional to their number of iterations, which may be problematic when the discount factor $γ$ is close to 1 or the approximation error $ε$ is close to $0$; we show that the NSPI(m) algorithm allows to make an overall trade-off between memory and performance. Simulations with these schemes confirm our analysis.

연구 동기 및 목표

• 무한할인 마르코프 결정 과정에서 핵심 근사 정책 반복 기법들의 성능 보장, 시간 복잡도, 메모리 요구량을 분석하고 비교하는 것.
• 농축 가능성 상수가 근사 정책 반복 알고리즘의 수렴과 성능에 미치는 영향을 평가하는 것.
• 정책 반복 변형에서 반복 횟수, 메모리 사용량, 근사 오차 사이의 트레이드오프를 규명하는 것.
• 기준 MDP에서의 시뮬레이션을 통해 이론적 결과를 검증하는 것.
• 각 알고리즘의 강점과 한계를 통합적으로 이해할 수 있는 프레임워크를 제공하는 것.

제안 방법

• 논문은 각 알고리즘의 성능 한계를 상태 분포 역학에서 유도된 농축 가능성 상수와 반복 오차 $\epsilon$를 사용하여 수식화한다.
• 분포 $\nu$ 하에서의 그리디 정책 선택을 근사하는 $(\epsilon,\nu)$-근사적으로 그리디 연산자 $\mathcal{G}_\epsilon$를 정의한다.
• 각 알고리즘에 대해, 할인 요소 $\gamma$와 $\epsilon$, 농축 가능성 상수를 포함한 $\|v_* - v_{\pi_k}\|$ 형태의 최적성 갭에 대한 경계를 유도한다.
• 농축 가능성 상수 $C_{\pi_*}$, $C_{\pi_*}^{(1)}$, $C^{(1,0)}$, $C^{(2,m,m)}$ 간의 계층적 관계를 명시적으로 구분한다.
• 메모리 사용량을 줄이면서도 성능를 유지하기 위해 과거 정책의 슬라이딩 윈도우를 사용하는 비정상적 변형인 NSPI(m)를 도입한다.
• 재귀적 벨먼 오차 분해와 할인 상태 방문 분포에 대한 기하급수적 경계를 사용하여 이론적 경계를 유도한다.

실험 결과

연구 질문

• RQ1 CPI와 API의 성능 보장은 농축 가능성 상수와 반복 횟수 측면에서 어떻게 비교될 수 있는가?
• RQ2 PSDP∞는 API 수준의 반복 효율성과 낮은 메모리 사용량으로 CPI 수준의 성능 보장을 달성할 수 있는가?
• RQ3 CPI와 PSDP∞에서 메모리 요구량과 수렴 속도 사이의 트레이드오프는 무엇이며, NSPI(m)는 이를 어떻게 해결하는가?
• RQ4 $C_{\pi_*}^{(1)}$, $C^{(1,0)}$, $C^{(2,m,m)}$ 상수 간의 관계는 무엇이며, 알고리즘 성능에 어떤 영향을 미치는가?
• RQ5 고정밀도 설정에서 NSPI(m)는 메모리 소비와 성능 향상 사이의 실현 가능한 트레이드오프를 제공하는가?

주요 결과

• CPI의 성능 보장은 API보다 임의로 더 우수할 수 있지만, 이는 $1/\epsilon$에 대해 지수적 증가하는 반복 횟수를 수반한다.
• PSDP∞는 API 수준의 반복 횟수로 CPI 수준의 성능 보장을 달성하여, 수렴 속도 측면에서 네 알고리즘 중 가장 효율적이다.
• CPI와 PSDP∞는 반복 횟수에 비례한 메모리를 요구하나, 이는 $\gamma \to 1$ 또는 $\epsilon \to 0$일 경우 문제가 된다. 반면 API는 일정한 메모리만 사용한다.
• NSPI(m)는 저장할 수 있는 과거 정책 수를 제한함으로써 메모리와 성능 사이의 조절 가능한 트레이드오프를 가능하게 하며, 이론적 경계는 하위최적성 갭이 $O(\epsilon)$ 이내로 유지됨을 보여준다.
• $C_{\pi_*}^{(1)}$는 유한하지만 $C_{\pi_*}$는 유한할 수 있으며, 이는 일부 알고리즘이 다른 알고리즘과는 달리 수렴하지 않을 수 있음을 시사한다.
• 시뮬레이션 결과, PSDP∞는 수렴 속도와 최종 성능 측면에서 API 및 CPI를 모두 능가함을 확인하였으며, NSPI(m)는 메모리 소비와 정확도 사이의 균형을 효과적으로 유지한다.