[論文レビュー] Reward Shaping via Meta-Learning

Haosheng Zou, Tongzheng Ren+3 more|arXiv (Cornell University)|Jan 27, 2019

Reinforcement Learning in Robotics参考文献 23被引用数 41

ひとこと要約

本論文は、タスク分布全体で報酬整形関数を自動的に学習するためのメタ学習フレームワークを提案し、価値ベースのアプローチで最適な整形の事前分布を抽出し、新しいタスクに対してゼロショットまたは少数ショット適応を可能にする。離散的および連続的なアクション設定、グリッドベースのタスクを含む、DQNからDDPGへの学習効率と転移を改善をデモンストレーションする。

ABSTRACT

Reward shaping is one of the most effective methods to tackle the crucial yet challenging problem of credit assignment in Reinforcement Learning (RL). However, designing shaping functions usually requires much expert knowledge and hand-engineering, and the difficulties are further exacerbated given multiple similar tasks to solve. In this paper, we consider reward shaping on a distribution of tasks, and propose a general meta-learning framework to automatically learn the efficient reward shaping on newly sampled tasks, assuming only shared state space but not necessarily action space. We first derive the theoretically optimal reward shaping in terms of credit assignment in model-free RL. We then propose a value-based meta-learning algorithm to extract an effective prior over the optimal reward shaping. The prior can be applied directly to new tasks, or provably adapted to the task-posterior while solving the task within few gradient updates. We demonstrate the effectiveness of our shaping through significantly improved learning efficiency and interpretable visualizations across various settings, including notably a successful transfer from DQN to DDPG.

研究の動機と目的

• 強化学習における報酬整形を通じたクレジット配分の非効率の動機づけと解決。
• 最適ポテンシャルベース整形のタスク分布事前分布を学習するメタ学習フレームワークを開発。
• 最適整形が価値関数を介したクレジット配分と一致するという理論的洞察を導出。
• 新しいタスクへ少数の勾配ステップで整形 priors を適応する実装可能なアルゴリズムを提供。
• 多様な環境とアクション空間に渡る有効性と転移性を示す。

提案手法

• ポテンシャルベース関数を用いて報酬整形を定義し、整形下で政策不変性を示す。
• Phi(s)=V* M(s) による整形がクレジット配分と学習効率の最適であると導く。
• タスク分布上のポテンシャル関数 pri or θ を学ぶメタ学習アプローチ（MAML ベース）を定式化。
• デュエリング-DQN アーキテクチャを用いて Q*: =V+A を分解し、各タスクへ適応を通して整形 pri or を V* として学習。
• Prior θ を最小化して、Q_θ と適応後の Q_φ_i の間の距離を各タスクで最小化する（ Eq. 7）。
• メタテスト中、新しいタスクを F(s,a,s')=gamma*V_θ(s')-V_θ(s) で整形する；オプションで V_φ_j と A_φ_j を適応して学習を速める（ Alg. 2）。

実験結果

リサーチクエスチョン

• RQ1 報酬整形を自動的に学習して、類似タスクの分布に跨って一般化するにはどうすればよいか？
• RQ2 メタ学習されたポテンシャル関数事前分が、新しいタスクのゼロショット整形や、アクション空間が異なる場合の迅速な適応に有効な手段を提供できるか？
• RQ3 最適なポテンシャルを用いた整形は、ディスクリートおよび連続制御タスク全体でクレジット配分と学習効率を改善するか？
• RQ4 異なるアーキテクチャ（例：DQN、DDPG）やタスクファミリ（CartPole、グリッドマップ）間で、メタ学習整形の転移性はどうか？

主な発見

• Phi(s)=V*（最適値）を用いた整形はクレジット配分において最適であり、非最適な行動は即座に非正の報酬を生じる。
• メタ学習されたポテンシャル関数事前分は学習効率と安定性を改善し、メタテストでMAMLベースラインを上回る。
• ゼロショット整形は新しい離散 CartPole およびグリッドマップタスクの学習を著しく加速し、DDPG を用いた連続アクション設定でも利益をもたらす。
• 整形により DQN から DDPG へ転移が可能で、離散・連続アクションスペースの両方で効果的な適応を示す。
• 実験は CartPole の variante と共通状態空間を持つグリッドベースのタスクで、学習速度と安定性の一貫した改善を示す。