[논문 리뷰] On the Performance Bounds of some Policy Search Dynamic Programming Algorithms

Bruno Scherrer|arXiv (Cornell University)|2013. 06. 03.

Reinforcement Learning in Robotics참고 문헌 21인용 수 6

한 줄 요약

이 논문은 무한할인 MDP에서 정책 탐색 동적 프ogramming 알고리즘의 성능 한계를 분석하며, CPI와 유사한 성능 보장을 달성하면서도 DPI와 유사한 계산 효율성을 갖는 비정상적 직접 정책 반복(Non-Stationary Direct Policy Iteration, NSDPI)을 제안한다. NSDPI가 CPI의 우수한 집중가능성 상수와 DPI의 낮은 반복 복잡도를 결합하여 기존 알고리즘들 중에서 가장 우수한 종합 이론적 한계를 제공함을 보여준다.

ABSTRACT

We consider the infinite-horizon discounted optimal control problem formalized by Markov Decision Processes. We focus on Policy Search algorithms, that compute an approximately optimal policy by following the standard Policy Iteration (PI) scheme via an -approximate greedy operator (Kakade and Langford, 2002; Lazaric et al., 2010). We describe existing and a few new performance bounds for Direct Policy Iteration (DPI) (Lagoudakis and Parr, 2003; Fern et al., 2006; Lazaric et al., 2010) and Conservative Policy Iteration (CPI) (Kakade and Langford, 2002). By paying a particular attention to the concentrability constants involved in such guarantees, we notably argue that the guarantee of CPI is much better than that of DPI, but this comes at the cost of a relative--exponential in $\\frac{1}{\\epsilon}$-- increase of time complexity. We then describe an algorithm, Non-Stationary Direct Policy Iteration (NSDPI), that can either be seen as 1) a variation of Policy Search by Dynamic Programming by Bagnell et al. (2003) to the infinite horizon situation or 2) a simplified version of the Non-Stationary PI with growing period of Scherrer and Lesner (2012). We provide an analysis of this algorithm, that shows in particular that it enjoys the best of both worlds: its performance guarantee is similar to that of CPI, but within a time complexity similar to that of DPI.

연구 동기 및 목표

• 주요 정책 탐색 알고리즘인 DPI, CPI, NSDPI의 이론적 성능 한계를 비교 분석하며, 집중가능성 상수와 반복 복잡도에 초점을 맞춘다.
• 기존 한계의 한계를 규명하며, 특히 무한이 될 수 있는 최악의 경우 집중가능성 상수인 $C^{(2)}$에 대한 의존성 문제를 제기한다.
• CPI(강력한 성능 보장)의 특성과 DPI(낮은 시간 복잡도)의 특성을 통합한 새로운 알고리즘인 NSDPI를 제안한다.
• 새로운 증명 기법을 사용하여 보다 날카운 집중가능성 상수를 포함하는 더 탴한 이론적 분석을 제공한다.

제안 방법

• 무한할인 MDP에 적합한 정책 탐색 동적 프로그래밍의 변형인 비정상적 직접 정책 반복(NSDPI)을 제안한다.
• 새로운 증명 기법을 도입하여 $C_{ ho}^{(1)}$ 및 $C_{ ho}$와 같은 향상된 집중가능성 상수를 포함하는 성능 한계를 유도한다. 이 상수들은 정책의 방문 분포에 의존한다.
• 기존의 확장된 한계를 사용하여 DPI와 CPI를 분석하며, CPI의 집중가능성 상수 $C_{ ho}$가 DPI의 $C^{(2)}$보다 엄밀히 우수함을 보여준다.
• NSDPI가 CPI와 동일한 성능 보장을 달성함과 동시에, CPI의 높은 비용이 아닌 DPI 수준의 반복 복잡도를 갖는다는 것을 입증한다.
• 집중가능성 상수의 계층을 설정한다: $C^{(2)} \prec C^{(1)} \prec C_{\rho}^{(1)} \prec C_{\rho}$이며, $C_{\rho}$가 가장 날카롭다.
• 소규모 도메인에서의 초보적 수치 실험을 통해 이론적 결과를 검증하였으며, NSDPI와 CPI 변종이 실질적으로 DPI를 능가함을 보였다.

실험 결과

연구 질문

• RQ1 DPI와 CPI의 성능 한계에 포함된 집중가능성 상수는 어떻게 비교되며, 어느 것이 더 날카운 이론적 보장을 제공하는가?
• RQ2 CPI의 강력한 성능 한계를 달성하면서도 DPI의 낮은 반복 복잡도를 유지할 수 있는 알고리즘을 설계할 수 있는가?
• RQ3 다양한 집중가능성 상수—$C^{(2)}$, $C^{(1)}$, $C_{\rho}^{(1)}$, $C_{\rho}$—는 정책 탐색 알고리즘의 이론적 및 실용적 성능에 어떤 영향을 미치는가?
• RQ4 이 논문에서 제안한 새로운 증명 기법은 기존 알고리즘인 DPI와 CPI에 대해 향상된 한계를 도출하는가?
• RQ5 NSDPI는 수렴 속도와 안정성 측면에서 DPI, CPI, CPI(α)와 비교해 실제로 어떻게 성능을 발휘하는가?

주요 결과

• NSDPI는 집중가능성 상수 $C_{\rho}$로 측정된 Conservative Policy Iteration(CPI)과 동일한 성능 보장을 달성한다. 이 상수는 표준 값 반복과 AVI에서 사용하는 $C^{(2)}$보다 더 날카롭다.
• NSDPI는 반복 복잡도에서 Direct Policy Iteration(DPI)와 동일하며, 단지 $\tilde{O}(\log \frac{1}{\epsilon})$회의 반복으로 충분하다. 반면 CPI는 $\tilde{O}(\frac{1}{\epsilon})$회의 반복이 필요하다.
• CPI의 보장에 포함된 집중가능성 상수 $C_{\rho}$는 최적 정책의 방문 분포에 의존하므로, 최악의 MDP 동역학에 의존하는 $C^{(2)}$와 $C^{(1)}$보다 훨씬 작다.
• NSDPI의 두 번째 보장은 $C_{\rho}^{(1)}$을 포함하며, 수렴 속도가 $O(\frac{1}{1-\gamma})$로 향상되어, CPI의 $O(\frac{1}{(1-\gamma)^3})$ 복잡도를 초월한다.
• 이 논문은 집중가능성 상수의 계층을 설정한다: $C^{(2)} \prec C^{(1)} \prec C_{\rho}^{(1)} \prec C_{\rho}$이며, $C_{\rho}$는 가장 날카롭고 실용적으로 가장 의미 있는 상수이다.
• 초기 실험 결과는 NSDPI가 성능 변동성이 가장 적음을 보여주며, CPI(α)와 CPI+는 평균적으로 DPI를 능가함을 확인하여, 더 날카운 집중가능성 상수의 이론적 우수성을 뒷받침한다.