[論文レビュー] Performance Bounds for Lambda Policy Iteration

Bruno Scherrer|arXiv (Cornell University)|Nov 5, 2007

Reinforcement Learning in Robotics参考文献 8被引用数 2

ひとこと要約

この論文は、マルコフ決定過程における価値反復と方策反復を統合する一般化されたフレームワークであるラムダ方策反復（LPI）の収束速度の上限を確立する。近似ラムダ方策反復が理論的に妥当であることを証明し、近似価値反復（AVI）と近似方策反復（API）の先行分析を統合・拡張し、より厳密で一般化された収束保証を提示する。

ABSTRACT

We consider the discrete-time infinite-horizon discounted stationary optimal control problem formalized by Markov Decision Processes. We study Lambda Policy Iteration, a family of algorithms parameterized by lambda, originally introduced by Ioffe and Bertsekas. Lambda Policy Iteration generalizes the standard algorithms Value Iteration and Policy Iteration, and has some connections with TD(Lambda) introduced by Sutton & Barto. We consider the discrete-time infinite-horizon discounted stationary optimal control problem formalized by Markov Decision Processes. We study Lambda Policy Iteration, a family of algorithms parameterized by lambda, originally introduced by Ioffe and Bertsekas. Lambda Policy Iteration generalizes the standard algorithms Value Iteration and Policy Iteration, and is closely related to TD(lambda) introduced by Sutton and Barto. We deepen the original theory developped by Ioffe and Bertsekas by providing convergence rate bounds which generalize standard bounds for Value Iteration described for instance by Puterman. We also develop the theory of this algorithm when it is used in an approximate form. Doing so, we extend and unify the separate analyses developped by Munos for Approximate Value Iteration and Approximate Policy Iteration. The main contribution of this paper is that we show that doing Approximate Lambda Policy Iteration is sound.

研究の動機と目的

• ラムダでパrameter化された方策反復の一般化されたフレームワーク、すなわちラムダ方策反復（LPI）の理論的基盤を拡張すること。
• プットマンによる価値反復の標準的上限の一般化として、LPIの収束速度の上限を導出すること。
• 近似LPIの包括的な理論を構築し、近似価値反復（AVI）と近似方策反復（API）の既存分析におけるギャップを埋めること。
• ムノスによるAVIとAPIの別々の分析を、近似LPIの単一で整合性のあるフレームワークに統合・拡張すること。
• 近似LPIが関数近似設定において信頼性のある性能を示すために、理論的に妥当であることを示すこと。

提案手法

• ラムダ（λ）というハイパーパrameterを用いて、価値反復（λ=0）から方策反復（λ=1）へ滑らかに移行するアルゴリズム族、すなわちラムダ方策反復（LPI）を提案する。
• プットマンによる価値反復の標準的上限の一般化を用いて、λパrameterを組み込んだLPIの収束速度の上限を導出する。
• 正確および近似された方策評価の両状況下でのLPIの収束挙動を分析するため、収縮写像フレームワークを適用する。
• LPIにおける関数近似誤差を扱うための新規な分析技術を導入し、方策更新による誤差伝搬の上限を可能にする。
• AVIとAPIの理論的取り扱いを統合し、両者が同一の近似LPIフレームワークの特殊ケースであることを示す。
• TD(λ)との類似性を活用し、ラムダ依存の更新をモデル化するための修正版ベルマン作用素（エリギビリティトレースを含む）を導入する。

実験結果

リサーチクエスチョン

• RQ1 ラムダ方策反復の収束速度はラムダパrameterにどのように依存するか。また、標準的価値反復の上限を一般化する形で上限を導出できるか。
• RQ2 近似価値反復（AVI）と近似方策反復（API）の理論が、ラムダ方策反復の単一のフレームワークに統合可能か。
• RQ3 関数近似誤差が存在する状況下でも、近似LPIが安定かつ収束するための条件は何か。
• RQ4 λの選択がLPIにおける収束速度と近似誤差のトレードオフにどのように影響するか。
• RQ5 特に関数近似設定において、近似LPIを実用的に使用することは理論的に正当化されるか。

主な発見

• 本論文は、プットマンによる価値反復の上限を一般化した、ラムダパrameterに明示的な依存関係を持つLPIの収束速度の上限を確立した。
• 近似ラムダ方策反復が理論的に妥当であることが証明された。これは、弱い仮定のもとで最適方策からの有界誤差内に収束することを意味する。
• ムノスによる近似価値反復（AVI）と近似方策反復（API）の先行結果を統合・拡張し、両者が同一のフレームワークの特殊ケースであることを示した。
• 上限は、近似誤差が制御されていれば、LPIが関数近似下でも安定かつ収束することを示している。
• 理論的フレームワークにより、λを調整することで収束速度と近似精度のバランスを取れることが示され、実用的なアルゴリズム設定の指針が得られた。
• 結果は、LPIが関数近似設定においても強固で一般化可能であり、しっかりした理論的基盤を持つ最適制御のフレームワークであることを確認した。