[論文レビュー] A new Potential-Based Reward Shaping for Reinforcement Learning Agent

Babak Badnava, Mona Esmaeili+2 more|arXiv (Cornell University)|Feb 17, 2019

Reinforcement Learning in Robotics被引用数 4

ひとこと要約

本論文は、エピソード累積報酬を用いて報酬を動的に形状づける、新たなポテンシャルベースの報酬形状化手法を提案する。エージェント自身の学習プロセスから知識を抽出することで、単一およびマルチタスク強化学習環境において学習を加速する。相対的パフォーマンス（例：最良／最悪エピソードとの比較）に基づくポテンシャル関数をモデル化することにより、Breakout や Pong などのアーケードゲームで学習速度と最終的パフォーマンスに顕著な向上が得られた。

ABSTRACT

Potential-based reward shaping (PBRS) is a particular category of machine learning methods which aims to improve the learning speed of a reinforcement learning agent by extracting and utilizing extra knowledge while performing a task. There are two steps in the process of transfer learning: extracting knowledge from previously learned tasks and transferring that knowledge to use it in a target task. The latter step is well discussed in the literature with various methods being proposed for it, while the former has been explored less. With this in mind, the type of knowledge that is transmitted is very important and can lead to considerable improvement. Among the literature of both the transfer learning and the potential-based reward shaping, a subject that has never been addressed is the knowledge gathered during the learning process itself. In this paper, we presented a novel potential-based reward shaping method that attempted to extract knowledge from the learning process. The proposed method extracts knowledge from episodes' cumulative rewards. The proposed method has been evaluated in the Arcade learning environment and the results indicate an improvement in the learning process in both the single-task and the multi-task reinforcement learner agents.

研究の動機と目的

• 報酬形状化およびトランスファーラーニング分野で未だ十分に検討されていない、学習プロセスそのものから知識を抽出するギャップを埋める。
• 過去のエピソードからのパフォーマンスフィードバックを活用して、将来の学習を導く手法を開発する。
• 最適方策を変更せずに、サンプル効率および学習速度を向上させる。
• マルチタスク強化学習にこの手法を拡張し、各タスクが独自の最適化されたポテンシャル関数を維持できるようにする。
• 標準ベースラインを用いて、Arcade Learning Environment における手法の実証的妥当性を検証する。

提案手法

• 本手法は、エージェントのエピソード報酬 R^ep(i) を、上界 R_u^ep(t,i) および下界 R_l^ep(t,i) に対して相対的に評価したポテンシャル関数 φ(s,a,t,i) を定義する。
• R(s,a) ≠ 0 の場合、φ(s,a,t,i) = 1 + (R^ep(i) - R_u^ep(t,i)) / (R_u^ep(t,i) - R_l^ep(t,i)) と定義する。それ以外の場合は 0 とする。
• 報酬形状化関数 F は、標準的な PBRS 公式 F(s,s') = γφ(s') - φ(s) を用いてポテンシャル関数から導出され、最適方策を保持する。
• 本手法は、訓練中に走るエピソード報酬の境界推定値を用いて、ポテンシャル関数を動的に更新する。
• 本手法は任意の強化学習アルゴリズムと互換性があり、Q学習およびポリシーグラデント法に適用可能である。
• マルチタスク強化学習では、ポテンシャル関数にタスク固有のパラメータを用いる（式23）、これにより各タスクが独自の最適方策を維持できる。

実験結果

リサーチクエスチョン

• RQ1 エージェント自身の学習プロセスから抽出された知識（具体的にはエピソード累積報酬）は、強化学習におけるサンプル効率を向上させることができるか？
• RQ2 相対的パフォーマンス（例：最良 vs. 最悪エピソード）に基づく報酬形状化は、学習速度および最終的方策品質にどのように影響を与えるか？
• RQ3 提案手法は、タスク固有の最適方策を保持しつつ、マルチタスク強化学習に効果的に拡張可能か？
• RQ4 本手法は、Atari ゲームのようなスパarsな報酬環境で、標準ベースラインを上回る性能を示すか？

主な発見

• Breakout 環境では、提案手法が両方のベースラインよりも学習曲線下の面積が大きく、より高速な学習と優れた最終的パフォーマンスを達成した。
• Pong 環境では、一時的改善が見られ、一方のベースラインより学習曲線下の面積が大きかったが、Breakout ほど顕著な向上は得られなかった。
• Pong と Breakout を同時に学習するマルチタスクエージェントにおいて、報酬形状化なしのベースラインに比べ、100回のテストエピソードにおける平均パフォーマンスが向上した。
• PBRS理論に従い、有効なポテンシャル関数を用いることで、すべてのテスト環境で最適方策が正しく保持された。
• 最大および最小エピソード報酬が事前に分かっている場合、および訓練中に推定される場合の2つの仮定のもとで、本手法はロバストである。
• 結果から、エピソードレベルのパフォーマンスから抽出された自己学習知識が、強化学習における学習速度および方策品質を顕著に向上させられると示された。