[論文レビュー] Value Function Approximation in Noisy Environments Using Locally Smoothed Regularized Approximate Linear Programs

Gavin Taylor, Ron Parr|arXiv (Cornell University)|Oct 16, 2012

Reinforcement Learning in Robotics参考文献 13被引用数 6

ひとこと要約

本稿では、局所的スムージングと正則化を組み合わせることで、ノイズの多い強化学習環境における価値関数近似を向上させる、新たな手法である局所スムージングL1正則化近似線形計画法（LS-RALP）を提案する。滑らかさの仮定とサンプルサイズの増加を活用することで、正確なモデルを必要とせずにノイズ由来の誤差を低減し、標準的なRALPよりもノイズのある領域で優れた性能を示し、ベンチマーク問題において収束性とロバスト性が向上することを示している。

ABSTRACT

Recently, Petrik et al. demonstrated that L1Regularized Approximate Linear Programming (RALP) could produce value functions and policies which compared favorably to established linear value function approximation techniques like LSPI. RALP's success primarily stems from the ability to solve the feature selection and value function approximation steps simultaneously. RALP's performance guarantees become looser if sampled next states are used. For very noisy domains, RALP requires an accurate model rather than samples, which can be unrealistic in some practical scenarios. In this paper, we demonstrate this weakness, and then introduce Locally Smoothed L1-Regularized Approximate Linear Programming (LS-RALP). We demonstrate that LS-RALP mitigates inaccuracies stemming from noise even without an accurate model. We show that, given some smoothness assumptions, as the number of samples increases, error from noise approaches zero, and provide experimental examples of LS-RALP's success on common reinforcement learning benchmark problems.

研究の動機と目的

• サンプルされた次状態のノイズが性能を低下させるノイズの多い環境におけるRALPの限界を解消すること。
• 正確な環境モデルに依存せずに、ノイズのあるデータ下でも性能保証を維持する手法を開発すること。
• 実世界の高ノイズ環境における実用的で現実的なRLシナリオにおいて、価値関数近似のロバスト性と収束性を向上させること。
• 滑らかさの仮定の下で、サンプル数が増加するにつれてノイズ由来の誤差が減少することを示すこと。

提案手法

• 近隣の状態の平均をとることで、価値関数近似におけるノイズを軽減する局所的スムージング正則化を導入する。
• RALPに局所的スムージングを組み込んだL1正則化近似線形計画法の定式化を拡張する。
• 価値関数の滑らかさの仮定を用いて、より多くのサンプルが得られることでノイズの影響が小さくなることを保証する。
• 隣接する状態間での価値推定の大きな乖離をペナルティ化するように変更された最適化目的関数を採用する。
• 正則化の過程で、近い状態行動ペアに重みを付けるカーネルベースの重み付け方式を適用する。
• 局所的スムージング制約を組み込んだ、近似線形計画法の変種を用いて、得られた最適化問題を解く。

実験結果

リサーチクエスチョン

• RQ1 局所的スムージングは、ノイズの多い強化学習環境におけるRALPのロバスト性を向上させ得るか？
• RQ2 次状態のサンプルがノイズを含んでも、LS-RALPは性能保証を維持できるか？
• RQ3 サンプル数が増加するにつれて、価値関数近似におけるノイズ由来の誤差はどのように変化するか？
• RQ4 正確なモデルを必要とせずに、LS-RALPはRALPよりも優れた近似品質を達成できるか？
• RQ5 どのような条件下で、局所的スムージングが価値関数推定におけるノイズ効果を小さくするか？

主な発見

• LS-RALPは、標準的なRALPと比較して、ノイズの多い次状態サンプル由来の誤差を顕著に低減している。
• 滑らかさの仮定の下では、サンプル数が増加するにつれてノイズ由来の誤差はゼロに近づく。
• 高ノイズ環境下でも、標準的な強化学習ベンチマーク問題においてLS-RALPはRALPを上回る性能を示している。
• 環境モデルが不正確または利用不可であっても、この手法は強固な性能を維持している。
• 実験結果から、ノイズのある領域において収束性と安定性が向上していることが確認された。
• 局所的スムージング機構は、状態空間内の空間的構造を活用して、価値関数推定を効果的に正則化している。