[論文レビュー] Dynamic Policy Programming

Mohammad Gheshlaghi Azar, Vicenç Gómez+1 more|arXiv (Cornell University)|Apr 12, 2010

Reinforcement Learning in Robotics参考文献 22被引用数 4

ひとこと要約

本稿では、無限時間ホライズンのマーカフ決定過程における、近似誤差を繰り返し平均化することで性能損失を低減する、新たな方策反復手法である動的方策プログラミング（DPP）を提案する。標準的な近似価値反復（AVI）や方策反復（API）とは異なり、DPPは性能損失を反復間の平均蓄積誤差の観点から制限し、モンテカルロサンプリングノイズに対してより高いロバスト性を示し、全テスト環境で優れた実験的性能を達成する。

ABSTRACT

In this paper, we propose a novel policy iteration method, called dynamic policy programming (DPP), to estimate the optimal policy in the infinite-horizon Markov decision processes. We prove the finite-iteration and asymptotic l\infty-norm performance-loss bounds for DPP in the presence of approximation/estimation error. The bounds are expressed in terms of the l\infty-norm of the average accumulated error as opposed to the l\infty-norm of the error in the case of the standard approximate value iteration (AVI) and the approximate policy iteration (API). This suggests that DPP can achieve a better performance than AVI and API since it averages out the simulation noise caused by Monte-Carlo sampling throughout the learning process. We examine this theoretical results numerically by com- paring the performance of the approximate variants of DPP with existing reinforcement learning (RL) methods on different problem domains. Our results show that, in all cases, DPP-based algorithms outperform other RL methods by a wide margin.

研究の動機と目的

• 推定誤差下での近似動的プログラミングにおける性能損失を低減する方策反復手法の開発を目的とする。
• AVI や API が各反復誤差の上界に依存しており、高分散のモンテカルロサンプリングに対して感受性が強いという限界を是正することを目的とする。
• 各反復誤差の最大値ではなく、平均蓄積誤差に依存する ℓ∞-ノルムにおける有限反復および漸近的性能損失バウンダリーを証明することを目的とする。
• 関数近似とモンテカルロシミュレーションに適合する、サンプルベースで収束性を保証するRLアルゴリズム（DPP-RL）の設計を目的とする。
• DPPに基づく手法が、複数のドメインにおいて既存のRLアルゴリズムを上回ることを実験的に検証することを目的とする。特に、高分散環境下での性能向上を強調する。

提案手法

• DPPは、現在の反復誤差のみを最小化するのではなく、すべての過去の反復からの近似誤差を蓄積するインクリメンタルな方策更新を導入する。
• ベルマン最適性作用素の近似にソフトマックス作用素を用いることで、微分可能かつ安定した方策更新を可能にする。
• 性能損失バウンダリーを、各反復誤差 ‖εk‖ の代わりに平均蓄積誤差の ℓ∞-ノルム ‖𝔼k‖/(k+1) に基づいて確立する。
• 推定誤差の有界性を仮定したもとで、マルティングル・ディファレンスの強大数法則を用いて DPP-RL の収束性を証明する。
• 関数近似とモンテカルロサンプリングに適合するように設計されており、大規模または連続的状態・行動空間への応用を可能にする。
• 弱い仮定のもとで、反復列と推定誤差が一様に有界のままであることを示す安定性補題を証明する。収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 各反復誤差の最悪ケースではなく、過去の近似誤差の平均に依存する性能損失バウンダリーを持つ方策反復手法を設計可能か？
• RQ2 反復間で推定誤差を平均化することで、高分散モンテカルロサンプリング下でもより高いロバスト性と性能が得られるか？
• RQ3 誤差平均化を考慮したもとで、理論的収束保証を維持する、サンプルベースで関数近似に適合するRLアルゴリズムを構築可能か？
• RQ4 DPPは、サンプリングノイズを伴う実用的RL環境において、標準的なAVI や API 手法と比較してどのように性能を発揮するか？
• RQ5 モンテカルロ推定からの有界なマルティングル・ディファレンス誤差のもとで、DPP-RLの漸近的収束性は保証されるか？

主な発見

• DPPの漸近的 ℓ∞-ノルム性能損失バウンダリーは、各反復誤差の上界ではなく、平均蓄積誤差 ‖𝔼k‖/(k+1) に比例するため、サンプリング分散に対してより高いロバスト性を示す。
• 誤差が高分散である場合、反復間での誤差平均化の恩恵により、AVI や API よりもDPPのバウンダリーがよりタイトであることが証明された。
• DPP-RL（DPPのサンプルベース版）は、有界なマルティングル・ディファレンス誤差のもとで、最適方策へのほとんど確実な収束性が保証された。
• 数値実験の結果、DPPに基づくアルゴリズムは、最適交換問題や確率的グリッドワールドを含む複数のドメインで、AVI や API および他のRLベースラインを一貫して上回る性能を達成した。
• 実験的結果は、DPPが標準的手法よりも顕著に低い性能損失を達成することを確認しており、特に標準的手法が劣化する高分散環境下で顕著である。
• 理論的および実験的結果から、DPPは近似動的プログラミングにおけるモンテカルロサンプリングノイズの影響を原理的かつ効果的に低減する手法であることが示された。