[論文レビュー] Unpacking Reward Shaping: Understanding the Benefits of Reward Engineering on Sample Complexity

Abhishek Gupta, Aldo Pacchiano+3 more|arXiv (Cornell University)|Oct 18, 2022

Software Engineering Research被引用数 12

ひとこと要約

本稿では、報酬形状化を最適性に基づく探索に統合することで、サンプル効率を向上させる強化学習アルゴリズムであるUCBVI-Shapedを提案する。最適値関数の乗法的近似（βで有界）を活用することで、適応的ボーナス減衰と値関数の射影が可能となり、収束が速くなる。状態空間と時間枠依存の複雑さの両面で、理論的利点を示し、漸近的性能を保持する。

ABSTRACT

Reinforcement learning provides an automated framework for learning behaviors from high-level reward specifications, but in practice the choice of reward function can be crucial for good results -- while in principle the reward only needs to specify what the task is, in reality practitioners often need to design more detailed rewards that provide the agent with some hints about how the task should be completed. The idea of this type of ``reward-shaping'' has been often discussed in the literature, and is often a critical part of practical applications, but there is relatively little formal characterization of how the choice of reward shaping can yield benefits in sample complexity. In this work, we build on the framework of novelty-based exploration to provide a simple scheme for incorporating shaped rewards into RL along with an analysis tool to show that particular choices of reward shaping provably improve sample efficiency. We characterize the class of problems where these gains are expected to be significant and show how this can be connected to practical algorithms in the literature. We confirm that these results hold in practice in an experimental evaluation, providing an insight into the mechanisms through which reward shaping can significantly improve the complexity of reinforcement learning while retaining asymptotic performance.

研究の動機と目的

• 報酬形状化が強化学習におけるサンプル効率をどのように向上させるかを形式的に分析すること。特に、単純な探索が実行不可能な状況を想定する。
• 実践的に広く用いられているが、形式的根拠に欠ける報酬形状化の理論的理解のギャップを埋めること。
• 理論的複雑度の利点を伴う、一貫性のあるアルゴリズムであるUCBVI-Shapedを開発すること。このアルゴリズムは、形状化された報酬を最適性に基づく探索に統合する。
• 報酬形状化がサンプル複雑度に顕著な利点をもたらす条件を特定すること。特に高次元空間や報酬が希薄な環境において有効である場合を想定する。

提案手法

• UCBVI-Shapedを導入。これは、2つのメカニズム（ボーナススケーリングと値関数の射影）を用いて報酬形状化を統合するUCBVIの変種である。
• 形状化された報酬項eVを用い、すべての状態sに対してeV(s) ≤ V⋆(s) ≤ β eV(s)を満たすように最適値関数V⋆を乗法的に有界化する。
• ボーナススケーリングを適用し、標準的なカウントベース探索ボーナス1/√Nh(s,a)を形状化された報酬eV(s)で再重み付けすることで、より速い減衰を実現しつつ、最適性を維持する。
• 値関数の射影を実装し、学習済みQ関数が形状化された値関数の範囲内に収まるように制約を課す。これにより、過剰な最適性の期待が回避され、収束が加速する。
• β-サンドイッチ条件の下でレグレットバウンドを分析し、時間枠Hと状態空間サイズ|S|への依存を低減することで、サンプル複雑度が改善されることを示す。
• 形状化された報酬が利用可能な環境（迷路、シミュレーションから実環境への移行、物体操作タスクなど）において、理論的主張を実証的に検証する。

実験結果

リサーチクエスチョン

• RQ1 報酬形状化は、経験的観察を越えて、強化学習におけるサンプル複雑度を理論的に低減できるか？
• RQ2 最適値関数を近似する形状化された報酬を組み込むことで、最適性に基づく強化学習アルゴリズムの収束速度にどのような影響を与えるか？
• RQ3 形状化された強化学習におけるサンプル効率の向上を可能にする構造的要素（ボーナススケーリングと値関数の射影）は何か？
• RQ4 どのような環境で報酬形状化がサンプル複雑度の向上に最も顕著な効果をもたらすか？
• RQ5 UCBVI-Shapedにおける適応的ボーナス減衰は、形状化が不適切な場合に線形加算による報酬形状化と比較して、悪影響をどのように緩和するか？

主な発見

• UCBVI-Shapedは、乗法的境界βを持つ形状化された報酬を用いることで、時間枠Hと状態空間サイズ|S|への依存を低減し、理論的にサンプル複雑度の改善を達成する。
• ボーナススケーリング機構により、探索ボーナスの減衰をより速く進めつつ、十分な最適性を維持でき、状態空間の効率的カバーが可能になる。
• 値関数の射影により、学習済みQ関数の過剰な最適性が防止され、収束が加速し、非最適行動の早期除外が可能になる。
• 実験結果では、UCBVI-Shapedは、報酬形状化が不適切であっても、非最適方策に陥ることなく学習を継続する。これは、eVを線形に加算する従来の形状化手法とは対照的である。
• 迷路、シミュレーションから実環境への移行、物体操作タスクなどの環境では、この手法が多数の状態空間を効果的に除外し、サンプル効率の実用的利点を示している。
• アルゴリズムは最終的な政策品質に影響を与えることなく、学習速度を著しく向上させ、形状化が効率性を向上させるが最終的性能を損なわないことを裏付けている。