[論文レビュー] Lambda-Policy Iteration with Randomization for Contractive Models with Infinite Policies: Well-Posedness and Convergence (Extended Version)

Yuchao Li, Karl Henrik Johansson+1 more|arXiv (Cornell University)|Dec 18, 2019

Reinforcement Learning in Robotics参考文献 14被引用数 4

ひとこと要約

この論文は、無限の方策を伴う収縮的マルコフ決定過程に、確率的化を施したλ方策反復（λ-PIR）を拡張し、λ作用素の適切な定義（well-posedness）を証明するとともに、弱い条件下でほとんど確実な収束を確立した。収縮的モデルにおいて、方策空間が無限である場合でもλ-PIRが収束を維持することを示し、制約付き線形および非線形制御問題における最適コスト関数のデータ駆動的近似を提供し、強力な経験的性能を示した。

ABSTRACT

Abstract dynamic programming models are used to analyze $λ$-policy iteration with randomization algorithms. Particularly, contractive models with infinite policies are considered and it is shown that well-posedness of the $λ$-operator plays a central role in the algorithm. The operator is known to be well-posed for problems with finite states, but our analysis shows that it is also well-defined for the contractive models with infinite states studied. Similarly, the algorithm we analyze is known to converge for problems with finite policies, but we identify the conditions required to guarantee convergence with probability one when the policy space is infinite regardless of the number of states. Guided by the analysis, we exemplify a data-driven approximated implementation of the algorithm for estimation of optimal costs of constrained linear and nonlinear control problems. Numerical results indicate potentials of this method in practice.

研究の動機と目的

• 有限方策から無限方策マルコフ決定過程へ、確率的化を施したλ方策反復（λ-PIR）を拡張すること。
• 無限状態および無限方策を伴う収縮的モデルにおけるλ作用素の適切な定義を確立すること。
• 方策空間が無限である場合のλ-PIRのほとんど確実な収束を保証する十分条件を同定すること。
• 近似動的プログラミング（ADP）フレームワーク内において、リアルタイム制御に適したデータ駆動的かつ近似可能なλ-PIRの実装を開発すること。
• 数値実験を通じて、制約付き線形および非線形制御問題における手法の妥当性を検証すること。

提案手法

• 抽象的動的プログラミングモデルを用いて、無限状態・無限方策設定におけるλ作用素の性質を分析する。
• モデルの収縮性に依存して、λ作用素が収縮的モデルにおいて適切に定義されることを証明し、有限状態ケースの結果を一般化する。
• 無限方策問題におけるλ-PIRの収束条件を導入し、問題が線形構造を示す場合にはこの条件を緩和可能であることを示す。
• 関数近似（例：パラメータ化されたコスト関数）を用いて、オンライン学習に適したデータ駆動的近似を提案する。
• 時系列差分学習の原則と近接アルゴリズムの洞察を統合し、収束性と安定性を維持する。
• 反復的方策評価と改善を伴うADPフレームワークにアルゴリズムを統合し、λ正則化付き更新を実装する。

実験結果

リサーチクエスチョン

• RQ1 収縮的マルコフ決定過程において、無限状態および無限方策を伴う場合にλ作用素は適切に定義されるか？
• RQ2 方策空間が非可算無限である場合に、λ-PIRのほとんど確実な収束を保証する条件は何か？
• RQ3 収束保証を失うことなく、λ-PIRを無限方策問題に効果的に適応できるか？
• RQ4 制約付きシステムのリアルタイム制御に適した、データ駆動的かつ近似可能な形でのλ-PIRの実装方法は何か？
• RQ5 提案手法は、標準的なVIおよびOPIに比べて収束速度とサンプル効率の面で優れているか？

主な発見

• 収縮的モデルにおいて、無限状態および無限方策を伴う場合に、λ作用素は、モデルの収縮性にのみ依存して適切に定義される。
• 方策空間が無限であっても、やや弱い追加条件のもとで、λ-PIRが最適コスト関数に確率1で収束することが保証される。
• 問題が線形構造を示す場合には、収束条件を削除可能であり、理論的要件が簡略化される。
• 数値結果から、データ駆動的実装されたλ-PIRが、標準的価値反復および楽観的方策反復よりも高速な収束と優れた制御性能を達成することが示された。
• 線形および非線形制御の両例において、推定コスト関数はわずか5反復で収束し、その結果得られた閉ループ系は顕著な性能向上を示した。
• 本手法は、近接アルゴリズムの高速収束性と価値反復の安定性を効果的に組み合わせ、サンプル効率においてOPIを上回った。