[論文レビュー] Approximate Modified Policy Iteration

Bruno Scherrer, Victor Gabillon+2 more|arXiv (Cornell University)|May 14, 2012

Reinforcement Learning in Robotics参考文献 15被引用数 26

ひとこと要約

本稿は、関数近似を用いた価値関数空間 $ \fancyscript{F} $ 内で、フィットド・バリュー反復、フィットド-Q反復、分類ベースのポリシー反復の3つの近似修正ポリシー反復（AMPI）アルゴリズムを提案する。標準的な近似動的計画法の拡張として、統一的な誤差伝播解析と有限標本バウンドを提供し、MPIのパラメータ $ m $ が価値関数近似誤差と分類器推定誤差のトレードオフを制御することを示しており、大規模なMDPにおける性能制御の向上を実現する。

ABSTRACT

Modified policy iteration (MPI) is a dynamic programming (DP) algorithm that contains the two celebrated policy and value iteration methods. Despite its generality, MPI has not been thoroughly studied, especially its approximation form which is used when the state and/or action spaces are large or infinite. In this paper, we propose three implementations of approximate MPI (AMPI) that are extensions of well-known approximate DP algorithms: fitted-value iteration, fitted-Q iteration, and classification-based policy iteration. We provide error propagation analyses that unify those for approximate policy and value iteration. On the last classification-based implementation, we develop a finite-sample analysis that shows that MPI's main parameter allows to control the balance between the estimation error of the classifier and the overall value function approximation.

研究の動機と目的

• 大規模または連続的状態／行動空間における近似修正ポリシー反復（AMPI）の理論的分析の不足に対処すること。
• 単一のAMPIフレームワーク内で、近似価値反復（AVI）と近似ポリシー反復（API）の誤差伝播解析を統一すること。
• 分類ベースのAMPI（CBMPI）実装のための有限標本一般化バウンドを提供し、MPIのパラメータ $ m $ が誤差トレードオフに与える影響を明示すること。
• AMPIがAVIおよびAPIに対する柔軟な代替手段を提供し、近似誤差と推定誤差の両方の制御を向上させることを示すこと。

提案手法

• 価値関数空間 $ \fancyscript{F} $ 内で関数近似を用いた3つのAMPI変種を提案：AMPI-V（フィットド・バリュー反復）、AMPI-Q（フィットド-Q反復）、CBMPI（分類ベースのポリシー反復）。
• $ \text{argmax}_a \text{推定された } Q(s,a) $ を用いたグリーディポリシー選択ステップにより $ \tilde{\nu}_{k+1} $ を生成し、$ m $ ステップの評価を $ (T_{\tilde{\nu}_{k+1}})^m \tilde{\nu}_k $ で行う。
• 有界な基底関数を用いた線形関数近似 $ \fancyscript{F} = \{ f_{\alpha}(\cdot) = \phi(\cdot)^T \alpha \} $ を採用し、安定性のため推定値を $ V_{\max} $ に切り詰める。
• 最小二乗回帰を用いて $ (T_{\pi_k})^m v_{k-1} $ を推定し、集中不等式を用いて誤差バウンドを導出する。
• 反復回数における和集合不等式を適用し、$ L_1 $-ノルムの性能損失を制御し、$ \|l_k\|_{1,\mu} $ を主な性能指標とする。
• 回帰誤差と分類誤差の $ \epsilon_1, \epsilon_2 $ 項を用いた有限標本バウンドを導出し、$ n, N, M, m $ に依存する依存関係を示す。

実験結果

リサーチクエスチョン

• RQ1 大規模または連続的MDPにおいて、関数近似を用いて修正ポリシー反復を効果的に近似できるか。
• RQ2 AMPIのパラメータ $ m $ が、価値関数近似誤差とポリシー分類器推定誤差のトレードオフにどのように影響するか。
• RQ3 AVIとAPIの誤差バウンドを一般化する統一的な誤差伝播解析をAMPIフレームワークから導出できるか。
• RQ4 分類ベースのAMPI（CBMPI）実装に対して、どのような有限標本一般化バウンドを確立できるか。
• RQ5 AMPIは、近似誤差と推定誤差の制御および収束行動の観点から、AVIおよびAPIに性能上の優位性を示すか。

主な発見

• AMPIフレームワークは、価値反復とポリシー反復を一般化し、大規模なMDPにおけるAVIとAPIの間の柔軟な中間地点を提供する。
• 統一的な誤差伝播解析が確立され、収縮性や単調性の仮定がなくても、性能損失の $ L_p $-ノルムが反復ごとの誤差によって制御されることを示している。
• CBMPIでは、パラメータ $ m $ を用いて近似誤差 $ d_m $ と推定誤差 $ \epsilon_1, \epsilon_2 $ のバランスを明示的に制御可能であり、トレードオフはバウンド $ \|l_k\|_{1,\mu} \leq O\left(\gamma^m\left(d_m + \sqrt{m/B}\right) + d' + \sqrt{M|A|m/B}\right) $ に反映される。
• 固定予算 $ B = nm = NM|A|m $ の下で、$ m $ を増加させると近似誤差は減少するが、分類器推定誤差は増加するため、最適な $ m $ が存在することが示唆される。
• 有限標本解析により、実用的な文脈で $ m $ を調整して推定誤差と近似誤差のバランスを取る理論的根拠が得られる。
• 実験結果（付録G）は、CBMPIが標準ベンチマークで既存のアルゴリズムと競争力のある性能を示しており、実用的妥当性を支持する。