[論文レビュー] Variational Inverse Control with Events: A General Framework for Data-Driven Reward Definition

Justin Fu, Avi Singh+3 more|arXiv (Cornell University)|May 1, 2018

Neural dynamics and brain function被引用数 30

ひとこと要約

本論文では、ゴール状態から報酬関数を学習するデータ駆動型フレームワーク「イベントを伴う変分逆制御」を提案する。完全なエキスパートデモンストレーションではなく、ゴールを確率的イベントとしてモデル化することで、画像のような高次元の観測空間でも有効な強化学習を実現し、手動で報酬を指定する必要がない。

ABSTRACT

The design of a reward function often poses a major practical challenge to real-world applications of reinforcement learning. Approaches such as inverse reinforcement learning attempt to overcome this challenge, but require expert demonstrations, which can be difficult or expensive to obtain in practice. We propose inverse event-based control, which generalizes inverse reinforcement learning methods to cases where full demonstrations are not needed, such as when only samples of desired goal states are available. Our method is grounded in an alternative perspective on control and reinforcement learning, where an agent's goal is to maximize the probability that one or more events will happen at some point in the future, rather than maximizing cumulative rewards. We demonstrate the effectiveness of our methods on continuous control tasks, with a focus on high-dimensional observations like images where rewards are hard or even impossible to specify.

研究の動機と目的

• 実世界の強化学習応用において、エキスパートデモンストレーションが高価または入手不可能な状況で報酬関数を定義する課題に対処すること。
• 完全な軌道からではなく、確率的イベントベースのゴールに焦点を移すことで、逆強化学習を一般化すること。
• 報酬を手動で指定するのが困難または不可能な、画像のような高次元の観測空間でも有効な学習を可能にすること。
• 累積報酬ではなく、望ましい将来のイベントが発生する確率を最大化するフレームワークを開発すること。

提案手法

• この手法は、エージェントのゴールを、将来的に1つ以上のイベントが発生する確率を最大化することとしてモデル化する。
• 真の逆制御方策をゴール状態データから近似するために変分推論フレームワークを用いる。
• 報酬関数を明示的に形状づけるのではなく、イベントの尤度を通じて暗黙的に定式化する。
• 深層ニューラルネットワークを活用して、画像のような高次元の観測を処理し、イベント発生確率を予測する。
• エージェントがターゲットイベントが起こりやすい状態に到達するよう促す尤度ベースの目的関数を用いて訓練する。
• 完全なエキスパート軌道の必要性を緩和し、代わりに正のゴール状態サンプルのみを用いることで、逆強化学習を一般化する。

実験結果

リサーチクエスチョン

• RQ1 完全なエキスパートデモンストレーションがなくても、ゴール状態データのみを用いて有効な方策を学習できるか？
• RQ2 報酬関数を手動で指定するのが現実的でない画像のような高次元の観測空間において、どのように報酬関数を定義できるか？
• RQ3 完全な軌道が入手不可な状況でも、イベントベースのゴールモデリングは従来の逆強化学習を上回る性能を発揮できるか？
• RQ4 部分的な監視のもとで、変分推論フレームワークはどのように頑健な逆制御を可能にするか？
• RQ5 複雑な観測を持つ連続的制御タスクにおいて、イベントベース制御の性能はいかがなものか？

主な発見

• 本手法は、エキスパート軌道を一切必要とせず、ゴール状態サンプルのみを用いて連続的制御タスクで方策を学習することに成功した。
• 従来の報酬設計が失敗する画像ベースの環境など、高次元の観測を持つタスクにおいても、優れた性能を達成した。
• イベントベースの定式化により、ゴールデータが疎であっても有効な学習が可能となった。
• フレームワークは、完全な行動クラーニングに焦点を当てる標準的な逆強化学習を越えて、イベント尤度に注目することで一般化された。
• 実験的結果から、完全なデモンストレーションを必要とするベースライン手法と同等またはそれを上回る性能を示した。