[論文レビュー] Biased Aggregation, Rollout, and Enhanced Policy Improvement for Reinforcement Learning

Dimitri P. Bertsekas|arXiv (Cornell University)|Oct 6, 2019

Reinforcement Learning in Robotics参考文献 22被引用数 10

ひとこと要約

本稿では、近似動的計画法における偏りのある集約フレームワークを提案し、古典的な集約を拡張することで、最適値に近づくように集約値を誘導するバイアス関数 $V$ を組み込む。$V$ が最適コスト $J^*$ を近似する場合、特に基本方策 $\mu$ の $J_\mu$ である場合、この手法はロールアウトおよび近似方策反復を一般化し、次元が低い集約DP解法を用いて収束保証付きで近最適結果に到達するより効果的な方策改善を可能にする。

ABSTRACT

We propose a new aggregation framework for approximate dynamic programming, which provides a connection with rollout algorithms, approximate policy iteration, and other single and multistep lookahead methods. The central novel characteristic is the use of a bias function $V$ of the state, which biases the values of the aggregate cost function towards their correct levels. The classical aggregation framework is obtained when $V\equiv0$, but our scheme works best when $V$ is a known reasonably good approximation to the optimal cost function $J^*$. When $V$ is equal to the cost function $J_μ$ of some known policy $μ$ and there is only one aggregate state, our scheme is equivalent to the rollout algorithm based on $μ$ (i.e., the result of a single policy improvement starting with the policy $μ$). When $V=J_μ$ and there are multiple aggregate states, our aggregation approach can be used as a more powerful form of improvement of $μ$. Thus, when combined with an approximate policy evaluation scheme, our approach can form the basis for a new and enhanced form of approximate policy iteration. When $V$ is a generic bias function, our scheme is equivalent to approximation in value space with lookahead function equal to $V$ plus a local correction within each aggregate state. The local correction levels are obtained by solving a low-dimensional aggregate DP problem, yielding an arbitrarily close approximation to $J^*$, when the number of aggregate states is sufficiently large. Except for the bias function, the aggregate DP problem is similar to the one of the classical aggregation framework, and its algorithmic solution by simulation or other methods is nearly identical to one for classical aggregation, assuming values of $V$ are available when needed.

研究の動機と目的

• 古典的集約の近似動的計画法における限界を克服するため、値近似を向上させるバイアス関数を導入すること。
• 単一の集約フレームワーク下でロールアウトアルゴリズム、近似方策反復、および先読み手法を統合・拡張すること。
• バイアス関数 $V$ を用いた事前知識の活用により、より正確で効率的な方策改善を実現すること。
• 次元が低い集約問題を用いることで、大規模なマコフ決定過程に対して柔軟かつスケーラブルな手法を提供すること。
• 集約状態数が十分に大きい場合、最適コスト関数 $J^*$ に任意に近い近似へ収束することを保証すること。

提案手法

• 集約コスト値を正しい水準に誘導するバイアス関数 $V$ を導入し、$V \approx J^*$ であれば最適な性能が得られる。
• 各集約状態内での局所補正を組み込んだ $V$ を用いた集約DP問題を定式化し、価値反復またはシミュレーションにより解く。
• 補間（例：式 (3.27)）を用いて、サンプリングされた集合 $\hat{\cal S}$ からの集約解 $\hat{J}_{k+1}$ を全状態空間 $\cal S$ に拡張する。
• 階層的上下サンプリングプロセスを適用：まず $\hat{\cal S}$ にダウンサンプリングし、集約問題を解いた後、重み付き補間によりアップサンプリングする。
• 価値反復における収縮性を維持することで収束を保証し、$\|V_k - TV_k\|$ が小さい場合に収束が保証される。
• 複数のバイアス関数を可変重みで線形結合可能であり、柔軟な近似戦略の実現が可能となる。

実験結果

リサーチクエスチョン

• RQ1 古典的集約は、動的計画法における近似精度を向上させるためにどのように拡張可能か？
• RQ2 バイアス関数 $V$ は、大規模なMDPにおける方策評価および方策反復において、どのように役立つか？
• RQ3 提案されたフレームワークは、ロールアウトおよび近似方策反復アルゴリズムをどのように一般化するか？
• RQ4 バイアス関数 $V$ はどのように選択すれば、近最適解への収束を保証できるか？
• RQ5 このフレームワークは、類似の保証を持つマルチステージまたは分散型集約設定へ拡張可能か？

主な発見

• $V = J_\mu$ かつ集約状態が1つの場合、この手法は方策 $\mu$ からの1ステップロールアウト改善と等価であり、ロールアウトアルゴリズムと直接的な関連を有する。
• 複数の集約状態と $V = J_\mu$ の場合、標準的なロールアウトよりも強力な形での方策改善が可能となり、その有効性が拡張される。
• フレームワークは、集約状態数が増加するにつれて、$J^*$ に任意に近い近似へ収束することを保証する。
• この手法は古典的集約とアルゴリズム的類似性を保ち、既存のソルバーやシミュレーションベース技術の最小限の修正で再利用可能である。
• $V$ が $J^*$ の一般近似である場合、このアプローチは先読み関数 $V + \text{局所補正}$ を用いた値空間近似に帰着し、精度が向上する。
• 重み $\xi_{ji} = \sum_{\ell=1}^q \phi_{j\ell} d_{\ell i}$ を用いた最終補間ステップにより、値関数が全状態空間に正規化され、滑らかに拡張される。