[論文レビュー] Efficient Gradient Estimation for Motor Control Learning

Gregory Lawrence, Noah J. Cowan+1 more|arXiv (Cornell University)|Oct 19, 2012

Reinforcement Learning in Robotics参考文献 10被引用数 28

ひとこと要約

本稿では、局所線形モデリングと分散に基づく勾配割り引きを用いて、モーターコントロールの強化学習における効率的な勾配推定のための2つの分散低減手法を提案する。シミュレーテッド3リンクアームのダートシューティングタスクに適用したところ、ベースライン手法と比較して勾配推定の正確性が著しく向上し、学習収束が加速された。

ABSTRACT

The task of estimating the gradient of a function in the presence of noise is central to several forms of reinforcement learning, including policy search methods. We present two techniques for reducing gradient estimation errors in the presence of observable input noise applied to the control signal. The first method extends the idea of a reinforcement baseline by fitting a local linear model to the function whose gradient is being estimated; we show how to find the linear model that minimizes the variance of the gradient estimate, and how to estimate the model from data. The second method improves this further by discounting components of the gradient vector that have high variance. These methods are applied to the problem of motor control learning, where actuator noise has a significant influence on behavior. In particular, we apply the techniques to learn locally optimal controllers for a dart-throwing task using a simulated three-link arm; we demonstrate that proposed methods significantly improve the reward function gradient estimate and, consequently, the learning curve, over existing methods.

研究の動機と目的

• 入力ノイズ下でのポリシー探索強化学習における勾配推定誤差を低減すること。
• アクチュエーターノイズを伴うモーターコントロールタスクにおけるサンプル効率と学習速度を向上させること。
• ノイズのあるポリシーグラデント推定における分散低減のための実用的でデータ駆動型の手法を開発すること。
• 3次元アームを用いたダートシューティングという高次元で現実世界に近いモーターコントロールタスクにおいて、有効性を実証すること。

提案手法

• 観測データにフィットさせることで勾配推定の分散を最小化するため、価値関数を近似する局所線形モデルを導入する。
• 経験データを用いて勾配推定分散を最小化する最適な線形モデルパラメータを導出する。
• 勾配ベクトルの高分散成分を低減するために、分散に基づく割り引きスキームを適用する。
• 局所線形モデルをポリシーグラデント推定におけるベースラインとして用い、分散を低減する。
• ノイズを制御信号に注入することで、現実世界のアクチュエータ変動をモデル化する確率的ポリシーパラメータ化を採用する。
• 報酬ベースのフィードバックを用いて、シミュレーテッド3リンクロボットアーム上でコントローラーを学習する。

実験結果

リサーチクエスチョン

• RQ1 制御入力に観測可能なノイズが存在する場合、ポリシー探索において勾配推定分散をどのように低減できるか？
• RQ2 局所線形モデルは、モーターコントロールタスクにおけるポリシーグラデント推定の正確性を向上させるために効果的に利用できるか？
• RQ3 勾配成分の分散に基づく割引きは、強化学習における収束速度を向上させるか？
• RQ4 これらの手法は、ダートシューティングのような高次元で現実世界に近いモーターコントロールタスクにおいて、学習パフォーマンスをどの程度向上させるか？
• RQ5 標準的なポリシーグラデントベースラインと比較して、提案手法はサンプル効率と収束速度においてどのように差をつけるか？

主な発見

• 提案手法は、標準ベースライン手法よりも勾配推定分散をより効果的に低減し、より信頼性の高いポリシー更新を実現した。
• 局所線形モデルをベースラインとして用いることで、ポリシーグラデント推定の安定性と正確性が著しく向上した。
• 分散に基づく勾配割り引きにより、ノイズの多い勾配成分を抑制することで、学習がさらに促進された。
• 学習曲線は、ベースライン手法と比較して収束が早く、最終的なパフォーマンスも高いことが示された。
• これらの手法は優れたサンプル効率を達成し、シミュレーテッド環境で最適なパフォーマンスに到達するためのロールアウト回数を削減した。