[論文レビュー] On the Performance Bounds of some Policy Search Dynamic Programming Algorithms

Bruno Scherrer|arXiv (Cornell University)|Jun 3, 2013

Reinforcement Learning in Robotics参考文献 21被引用数 6

ひとこと要約

本稿は、無限時間割引MDPにおけるポリシー探索動的計画法の性能バウンドを分析し、DPIに類似した計算効率とCPIに類似した性能保証を達成するため、非定常的直接ポリシー反復（NSDPI）を導入する。NSDPIがCPIの優れた集中定数とDPIの低い反復複雑性を組み合わせ、既存のアルゴリズムの中で最も包括的な理論的バウンドを達成することを示している。

ABSTRACT

We consider the infinite-horizon discounted optimal control problem formalized by Markov Decision Processes. We focus on Policy Search algorithms, that compute an approximately optimal policy by following the standard Policy Iteration (PI) scheme via an -approximate greedy operator (Kakade and Langford, 2002; Lazaric et al., 2010). We describe existing and a few new performance bounds for Direct Policy Iteration (DPI) (Lagoudakis and Parr, 2003; Fern et al., 2006; Lazaric et al., 2010) and Conservative Policy Iteration (CPI) (Kakade and Langford, 2002). By paying a particular attention to the concentrability constants involved in such guarantees, we notably argue that the guarantee of CPI is much better than that of DPI, but this comes at the cost of a relative--exponential in $\\frac{1}{\\epsilon}$-- increase of time complexity. We then describe an algorithm, Non-Stationary Direct Policy Iteration (NSDPI), that can either be seen as 1) a variation of Policy Search by Dynamic Programming by Bagnell et al. (2003) to the infinite horizon situation or 2) a simplified version of the Non-Stationary PI with growing period of Scherrer and Lesner (2012). We provide an analysis of this algorithm, that shows in particular that it enjoys the best of both worlds: its performance guarantee is similar to that of CPI, but within a time complexity similar to that of DPI.

研究の動機と目的

• 主なポリシー探索アルゴリズム（DPI、CPI、NSDPI）の理論的性能バウンドを比較すること。特に、集中定数と反復複雑性に焦点を当てる。
• 既存のバウンドの限界を特定すること。特に、無限になり得る最悪ケースの集中定数（例：$C^{(2)}$）に依存している点。
• CPI（強い性能保証）とDPI（低い時間複雑性）の長所を統合した、NSDPIという新規アルゴリズムを提案すること。
• より良い集中定数を含む、よりタイトなバウンドを導出するための新しい証明技法を用いた洗練された理論的分析を提供すること。

提案手法

• 無限時間割引MDPに適応した、動的計画法によるポリシー探索の変種として、非定常的直接ポリシー反復（NSDPI）を提案する。
• 新しい証明技法を導入し、ポリシーの訪問分布に依存する、より良い集中定数（例：$C_{ ho}^{(1)}$ と $C_{ ho}$）を含む性能バウンドを導出する。
• DPIとCPIを、既存のバウンドの拡張版を用いて分析し、CPIの集中定数 $C_{ ho}$ がDPIの $C^{(2)}$ よりも厳密に優れていることを示す。
• NSDPIがCPIと同等の性能保証（$C_{ ho}$ を通じて）を達成する一方で、反復複雑性はCPIの高いコストではなくDPIと同等であることを確立する。
• 集中定数の階層を提示：$C^{(2)} \prec C^{(1)} \prec C_{ ho}^{(1)} \prec C_{ ho}$ であり、$C_{ ho}$ が最もタイトである。
• 小規模なドメインにおける予備の数値実験を通じて理論的知見を検証し、NSDPIとCPIの変種が実際にはDPIを上回ることを示している。

実験結果

リサーチクエスチョン

• RQ1 DPIとCPIの性能バウンドにおける集中定数はどのように比較できるか。どちらがよりタイトな理論的保証を提供するか。
• RQ2 CPIの強い性能バウンドを達成しながら、DPIの低い反復複雑性を維持できるアルゴリズムを設計できるか。
• RQ3 異なる集中定数（$C^{(2)}$, $C^{(1)}$, $C_{ ho}^{(1)}$, $C_{ ho}$）が、ポリシー探索アルゴリズムの理論的および実用的性能に与える影響は何か。
• RQ4 本稿で導入された新しい証明技法は、DPI や CPI といった既存のアルゴリズムに対しても、より良いバウンドをもたらすか。
• RQ5 NSDPIは収束速度と安定性の観点から、DPI、CPI、CPI(α) と比較してどのように異なるか。

主な発見

• NSDPIは、保守的ポリシー反復（CPI）と同等の性能保証を達成する。これは集中定数 $C_{ ho}$ によって測定され、標準的価値反復やAVIで用いられる $C^{(2)}$ よりもタイトである。
• NSDPIは、反復複雑性において直接ポリシー反復（DPI）と同等である。反復回数は $\tilde{O}(\log \frac{1}{\epsilon})$ に抑えられ、CPIが要する $\tilde{O}(\frac{1}{\epsilon})$ の反復回数よりはるかに少ない。
• CPIのバウンドに含まれる集中定数 $C_{ ho}$ は、最適ポリシーの訪問分布に依存するため、最悪ケースのMDPダイナミクスに依存する $C^{(2)}$ や $C^{(1)}$ よりも著しく小さい。
• NSDPIの第二のバウンド（$C_{ ho}^{(1)}$ を含む）は、$O(\frac{1}{1-\gamma})$ の収束レートを達成し、CPIの $O(\frac{1}{(1-\gamma)^3})$ の複雑性を上回る。
• 本稿では、集中定数の階層 $C^{(2)} \prec C^{(1)} \prec C_{\rho}^{(1)} \prec C_{\rho}$ を確立し、$C_{ ho}$ が最もタイトで実用的に意味のあるものであることを示している。
• 予備の実験では、NSDPIが最も性能のばらつきが少なく、CPI(α) や CPI+ が平均的にDPIを上回ることを示しており、よりタイトな集中定数の理論的優位性を裏付けている。