[論文レビュー] Approximate Kalman Filter Q-Learning for Continuous State-Space MDPs

Charles Tripp, Ross D. Shachter|arXiv (Cornell University)|Sep 26, 2013

Reinforcement Learning in Robotics参考文献 18被引用数 3

ひとこと要約

本稿では、連続状態空間マルコフ決定過程（MDP）に対して、基底関数を用いてQ値関数を表現し、簡略化されたカルマンフィルタモデルにより最適な重みを推定することで、近似的なカルマンフィルタに基づくQ学習アルゴリズムを提案する。この手法は、オンラインでの重み更新を効率的に行い、平均ベルマン残差を最小化することで、標準的なベンチマーク問題において、最先端の投影TD学習手法を上回る優れた性能を達成する。

ABSTRACT

We seek to learn an effective policy for a Markov Decision Process (MDP) with continuous states via Q-Learning. Given a set of basis functions over state action pairs we search for a corresponding set of linear weights that minimizes the mean Bellman residual. Our algorithm uses a Kalman filter model to estimate those weights and we have developed a simpler approximate Kalman filter model that outperforms the current state of the art projected TD-Learning methods on several standard benchmark problems.

研究の動機と目的

• 従来の表形式Q学習が不適切となる連続状態空間MDPに対して、スケーラブルで正確な強化学習手法を開発すること。
• 状態-行動空間が連続である場合の関数近似の課題に対処するため、基底関数を用いてQ値関数を表現すること。
• Q値の重み推定をカルマンフィルタ問題としてモデル化することで、学習の効率性と収束性を向上させること。
• 従来の投影時系列差分学習手法と比較して、計算コストを低減し、性能を向上させること。
• 関数近似フレームワーク内での線形重みのオンラインで再帰的な推定を通じて、平均ベルマン残差を最小化すること。

提案手法

• 本手法は、状態-行動ペア上で基底関数の線形結合としてQ値関数を表現する。
• Q値の重み推定問題をカルマンフィルタの更新として定式化し、重みをノイズのある観測を持つ動的システムとして扱う。
• 計算複雑性を低減しつつ推定精度を維持するため、近似的なカルマンフィルタを導出する。
• アルゴリズムは、時系列差分誤差を用いてQ値重みをオンラインで更新し、平均ベルマン残差を最小化する。
• カルマンフィルタモデルは予測と補正のステップを組み合わせ、新たな経験に基づいて重み推定値を再帰的に改善する。
• カルマンフィルタの閉形式更新ルールを活用することで、反復的ソルバの必要性を回避する。

実験結果

リサーチクエスチョン

• RQ1 カルマンフィルタベースのアプローチは、連続MDPにおける標準的な投影TD学習と比較して、より正確で効率的なQ値重み推定を実現できるか？
• RQ2 近似的なカルマンフィルタQ学習の性能は、標準的なベンチマーク問題において、最先端の関数近似手法と比較してどうなるか？
• RQ3 カルマンフィルタを用いて平均ベルマン残差を最小化することで、サンプル効率性と収束速度がどの程度向上するか？
• RQ4 簡略化されたカルマンフィルタモデルは、オンライン強化学習における計算オーバーヘッドを低減しつつ、高い精度を維持できるか？
• RQ5 カルマンフィルタフレームワークは、高次元の連続状態空間においても安定的かつ頑健な学習を可能にするか？

主な発見

• 提案された近似的なカルマンフィルタQ学習手法は、連続状態空間MDPにおける複数の標準的ベンチマーク問題において、現在の最先端の投影TD学習手法を上回る性能を発揮する。
• カルマンフィルタフレームワークを用いたQ値重みの最適かつ再帰的推定により、収束が早く、誤差率も低くなる。
• 正確なカルマンフィルタと比較して、計算コストを低減しつつも高い性能を維持する近似的なカルマンフィルタモデルが有効である。
• 原理的で整合性のある重み更新を通じて平均ベルマン残差を最小化することで、サンプル効率性が向上する。
• ベンチマーク問題における実験結果から、学習性能の一貫した向上が確認され、連続MDPにおける関数近似にカルマンフィルタアプローチが有効であることが裏付けられる。
• 反復的アルゴリズムとは対照的に、安定的かつスケーラブルな代替手法を提供し、特にオンラインおよびリアルタイム学習環境において有益である。