[論文レビュー] Ecological Reinforcement Learning

John D. Co-Reyes, Suvansh Sanjeev+3 more|arXiv (Cornell University)|Jun 22, 2020

Reinforcement Learning in Robotics参考文献 46被引用数 12

ひとこと要約

本稿では生態的強化学習を提唱し、環境の特性—特に環境形状付けと動的性—が、エピソードフリーで報酬が疎である強化学習を著しく容易にできることを示している。初期状態を変更するか、遷移エントロピーを増加させることで、リセットや密集報酬なしに、エージェントがより良い探索と学習を達成でき、訓練された方策は元の、構造が不完全なMDPへもより良く一般化する。

ABSTRACT

Much of the current work on reinforcement learning studies episodic settings, where the agent is reset between trials to an initial state distribution, often with well-shaped reward functions. Non-episodic settings, where the agent must learn through continuous interaction with the world without resets, and where the agent receives only delayed and sparse reward signals, is substantially more difficult, but arguably more realistic considering real-world environments do not present the learner with a convenient "reset mechanism" and easy reward shaping. In this paper, instead of studying algorithmic improvements that can address such non-episodic and sparse reward settings, we instead study the kinds of environment properties that can make learning under such conditions easier. Understanding how properties of the environment impact the performance of reinforcement learning agents can help us to structure our tasks in ways that make learning tractable. We first discuss what we term "environment shaping" -- modifications to the environment that provide an alternative to reward shaping, and may be easier to implement. We then discuss an even simpler property that we refer to as "dynamism," which describes the degree to which the environment changes independent of the agent's actions and can be measured by environment transition entropy. Surprisingly, we find that even this property can substantially alleviate the challenges associated with non-episodic RL in sparse reward settings. We provide an empirical evaluation on a set of new tasks focused on non-episodic learning with sparse rewards. Through this study, we hope to shift the focus of the community towards analyzing how properties of the environment can affect learning and the ultimate type of behavior that is learned via RL.

研究の動機と目的

• エコロジー的強化学習の環境特性が、非エピソード的で報酬が疎な状況下での強化学習性能に与える影響を調査すること。
• 報酬形状付けが現実的でないリアルな環境において、継続的でリセットなしの学習の課題に対処すること。
• 環境の変更が、報酬形状付けの代替手段として学習を導くのに有効であるかどうかを検討すること。
• 環境の動的性（遷移エントロピー）を高めることで、明示的なカリキュラムや形状付けなしに学習が安定化するかどうかを評価すること。
• エコロジカルに形状付けられた環境で訓練されたエージェントが、元の構造が不完全なMDPへより良く一般化することを実証すること。

提案手法

• 報酬関数を変更せずに、高報酬領域へ向かうようにエージェントを誘導するため、初期状態やダイナミクスを変更する「環境形状付け」を導入する。
• 環境遷移エントロピーに基づく測定可能な性質として「動的性」を提案し、エージェントの行動とは独立した確率的性質を反映する。
• 新しい非エピソード的で報酬が疎なタスクにおいて、環境形状付けと動的性の両方を実証的に評価する。
• 状態訪問回数と軌道可視化を用いて、異なる手法間での探索効率と行動パターンを比較する。
• 変更された環境でエージェントを訓練し、元の変更なしのMDPでその性能を評価することで、一般化能力を測定する。
• 報酬形状付け（例：一回限りの報酬や距離に基づく報酬）と比較することで、報酬設計に起因するバイアスを分離する。

実験結果

リサーチクエスチョン

• RQ1 初期状態やダイナミクスを変更する環境形状付けは、非エピソード的で報酬が疎な強化学習において学習を改善できるか？
• RQ2 遷移エントロピーを高めた環境の動的性は、明示的なカリキュラムや報酬形状付けなしに学習を安定化させ、性能を向上させられるか？
• RQ3 探索効率と行動の質という観点から、環境形状付けと動的性は、従来の報酬形状付けと比べてどう異なるか？
• RQ4 生態的形状付けされた環境で訓練されたエージェントは、元の構造が不完全なMDPへより良く一般化できるか？
• RQ5 異なる形状付け手法から生じる行動的バイアスは何か？ そして、非エピソード的状況下でのタスク完了にどのように影響するか？

主な発見

• 環境形状付けにより、ランダムな方策が高報酬領域に到達するまでの時間（ヒッティングタイム）が短縮され、非エピソード的状況下での探索と状態カバレッジが向上する。
• 環境の動的性（高い遷移エントロピー）を高めることで、リセットなしの学習が安定化し、明示的なカリキュラムがなくても効果的な訓練が可能になる。
• 環境形状付けまたは動的性を用いて訓練されたエージェントは、グリッド全体にわたって均一な状態訪問を達成し、コーナーに閉じ込められるのを回避する。
• 一回限りの報酬や距離に基づく報酬といった報酬形状付け手法は、報酬関数のバイアスにより、反復的行動やタスク未完了といった非最適行動を引き起こす。
• 形状付け済みまたは動的環境で訓練された方策は、元のMDPへより良く一般化し、標準的な報酬形状付けで訓練された方策よりも速く、より信頼性高くタスクを完了する。
• ハンティング環境では、環境形状付けされたエージェントは15ターンでタスクを正常に完了するが、報酬形状付けされたエージェントは100ターン以内に失敗する（行動的バイアスが原因）。