[論文レビュー] Monte Carlo Matrix Inversion Policy Evaluation

Fletcher Lu, Dale Schuurmans|arXiv (Cornell University)|Oct 19, 2012

Reinforcement Learning in Robotics参考文献 14被引用数 4

ひとこと要約

本稿は、強化学習のポリシー評価のためのモンテカルロ行列逆行列化（MCMI）手法を導入する。この手法は、行列逆行列を確率的ウォークの期待値として扱うことにより、尤度推定法よりも高速な実行時間と、時系列差分法よりも高い精度を実現する。重要度サンプリングとスケーラブルなサンプリング技術を統合することで、大規模な状態空間においても収束が速く、分散の制御が良好になる。

ABSTRACT

In 1950, Forsythe and Leibler (1950) introduced a statistical technique for finding the inverse of a matrix by characterizing the elements of the matrix inverse as expected values of a sequence of random walks. Barto and Duff (1994) subsequently showed relations between this technique and standard dynamic programming and temporal differencing methods. The advantage of the Monte Carlo matrix inversion (MCMI) approach is that it scales better with respect to state-space size than alternative techniques. In this paper, we introduce an algorithm for performing reinforcement learning policy evaluation using MCMI. We demonstrate that MCMI improves on runtime over a maximum likelihood model-based policy evaluation approach and on both runtime and accuracy over the temporal differencing (TD) policy evaluation approach. We further improve on MCMI policy evaluation by adding an importance sampling technique to our algorithm to reduce the variance of our estimator. Lastly, we illustrate techniques for scaling up MCMI to large state spaces in order to perform policy improvement.

研究の動機と目的

• 大規模な状態空間における従来のモデルベースポリシー評価の計算非効率性を解消すること。
• 時系列差分（TD）手法を改善し、価値関数推定におけるバイアスと分散を低減すること。
• モンテカルロサンプリングと行列逆行列化技術を用いて、大規模または連続的状態空間へのポリシー評価をスケーラブルにすること。
• 重要度サンプリングによる分散低減を通じて、MCMIの推定器の分散を制御し、収束性と精度を向上させること。
• 効率的なサンプリング戦略によりMCMIを高次元問題にスケーリングし、実用的なポリシー改善を可能にすること。

提案手法

• ForsytheとLeibler（1950）の統計的手法を活用し、行列逆行列を確率的ウォークの期待値として形式化する。
• シミュレートされた軌道を用いて、行列逆行列による価値関数推定を通じてMCMIフレームワークをポリシー評価に適用する。
• 推定器の分散低減を目的として、重要度サンプリングを導入し、軌道を再重み付けする。
• 収束速度の向上を図るため、情報量の多い状態遷移を優先するサンプリング戦略を採用する。
• スパースサンプリングと反復的精錬を用いて行列逆行列を近似することで、大規模な状態空間へのスケーリングを実現する。
• 推定された価値関数を用いてポリシー改善ステップを実行するため、MCMIをポリシー反復と組み合わせる。

実験結果

リサーチクエスチョン

• RQ1 モンテカルロ行列逆行列化は、尤度推定法に基づくモデルベース手法よりも、高速かつ高精度なポリシー評価を実現できるか？
• RQ2 MCMIは、実行時間と推定精度の両面で時系列差分（TD）学習を上回るか？
• RQ3 重要度サンプリングは、ポリシー評価におけるMCMI推定器の分散低減にどの程度効果的か？
• RQ4 計算コストが著しく増大することなく、MCMIは大規模または連続的状態空間にどの程度スケーリング可能か？
• RQ5 MCMIは、特に高次元環境において実用的なポリシー改善を可能にするか？

主な発見

• MCMIは、とくに高次元状態空間において、尤度推定法に基づくモデルベース手法よりも著しく高速な実行時間を達成する。
• MCMIは、時系列差分（TD）手法と比較して推定誤差を低減し、価値関数近似における精度の向上を示している。
• 重要度サンプリングの導入により、MCMI推定器の分散が低減され、より安定的かつ信頼性の高い価値推定が得られた。
• 効率的なサンプリングと行列近似技術を用いることで、この手法は大規模な状態空間へのスケーリングに効果的に対応できる。
• MCMIは、正確で高速な価値関数推定を提供することで、実用的なポリシー改善を可能にし、標準的なTDおよびモデルベースのベースラインを上回っている。
• 実験結果から、MCMIはベンチマーク問題においてTD(0)およびモデルベース手法と比較して、より速くかつ低い誤差で収束することが示された。