[論文レビュー] A Unified Bellman Optimality Principle Combining Reward Maximization and Empowerment

Felix Leibfried, Sergio Pascual-Díaz+1 more|arXiv (Cornell University)|Jan 1, 2019

Reinforcement Learning in Robotics被引用数 10

ひとこと要約

この論文は、強化学習における内発的エンパワーメントと外的報酬最大化を統合する統一されたベルマン最適性原理を提案する。情報理論的制御を標準的な価値ベース学習と統合することにより、本手法は、報酬形状を詳細に設計しなくても、連続的制御タスク（MuJoCo）において、初期段階および最終段階の性能を、最先端のモデルフリー手法を上回る結果を達成するオフポリシーのアクタ・クリティックアルゴリズムを可能にする。

ABSTRACT

Empowerment is an information-theoretic method that can be used to intrinsically motivate learning agents. It attempts to maximize an agent's control over the environment by encouraging visiting states with a large number of reachable next states. Empowered learning has been shown to lead to complex behaviors, without requiring an explicit reward signal. In this paper, we investigate the use of empowerment in the presence of an extrinsic reward signal. We hypothesize that empowerment can guide reinforcement learning (RL) agents to find good early behavioral solutions by encouraging highly empowered states. We propose a unified Bellman optimality principle for empowered reward maximization. Our empowered reward maximization approach generalizes both Bellman’s optimality principle as well as recent information-theoretical extensions to it. We prove uniqueness of the empowered values and show convergence to the optimal solution. We then apply this idea to develop off-policy actor-critic RL algorithms which we validate in high-dimensional continuous robotics domains (MuJoCo). Our methods demonstrate improved initial and competitive final performance compared to model-free state-of-the-art techniques.

研究の動機と目的

• 報酬のスパarsityや遅延性に起因する強化学習の課題に対処するため、内発的エンパワーメントを誘導信号として統合する。
• 古典的ベルマン最適性と、エンパワーメントのような情報理論的拡張を一般化する統一された理論的枠組みを構築する。
• オフポリシーの深層強化学習エージェントが、エンパワーメント価値関数を用いて、訓練の初期段階で効果的な行動を発見できるようにする。
• エンパワーメント価値関数の一意性を証明し、提案された原理に従って最適方策への収束を確立する。
• 高次元の連続的制御環境において本手法を検証し、サンプル効率と最終的性能の両面で向上を示す。

提案手法

• 外的報酬の期待リターンと、状態行動遷移分布のエントロピー（＝エンパワーメントを表す）を組み合わせた統一されたベルマン最適性方程式を提案する。
• 即時の報酬と将来の制御能力（すなわち、到達可能な次の状態の数）の両方を最大化する価値関数を導入する。
• 古典的Q学習の構造を保ちつつ、エンパワーメントのための情報理論的項を組み込んだ一般化されたベルマン更新を導出する。
• クライアントが統一された価値関数を推定し、アクターが統一された目的関数の勾配に基づいて更新されるオフポリシーのアクタ・クリティックアルゴリズムを採用する。
• 高次元連続的行動空間における遷移エントロピーの近似に変分推論を用い、スケーラブルな計算を可能にする。
• 訓練中に報酬最大化とエンパワーメントの目的をバランスさせるためのデュアル最適化スキームを適用する。

実験結果

リサーチクエスチョン

• RQ1 エンパワーメントは、外的報酬が存在する状況において、探索を誘導し、初期学習を改善する意味のある内発的信号として機能するか？
• RQ2 ベルマン最適性原理は、報酬最大化とエンパワーメントの両方を統合する統一された枠組みとして、形式的にどのように拡張可能か？
• RQ3 提案された統一原理は、連続的制御タスクの文脈において、一意的かつ収束する解をもたらすか？
• RQ4 報酬最大化とエンパワーメントを組み合わせることで、深層強化学習におけるサンプル効率と最終的性能がどの程度向上するか？
• RQ5 オフポリシーのアクタ・クリティックアルゴリズムは、統一された価値関数を効果的に活用して、安定的かつ効率的な学習を実現できるか？

主な発見

• 提案された統一ベルマン最適性原理により、エンパワーメント価値関数の一意性が保証され、最適方策への収束が保証される。
• 最先端のモデルフリーRLアルゴリズムと比較して、特に報酬がスパarsな環境において、初期学習段階の性能が向上する。
• MuJoCoの連続的制御ベンチマークにおいて、エンパワーメントを統合した報酬最大化アプローチは、初期訓練段階および最終的性能指標の両面でベースライン手法を上回る。
• エンパワーメントの統合により、報酬形状を詳細に設計しない状態でも、より強固な探索が可能になり、複雑な行動の発見が可能になる。
• オフポリシーのアクタ・クリティック実装は、安定した学習ダイナミクスと、長い時間スパンにわたる適切な信用配分を示す。
• 実験的結果から、統一原理に従って訓練されたエージェントは、より高い状態行動エントロピーを示しており、これにより制御能力と探索効率が向上していることが示された。