[論文レビュー] Intrinsic Motivation for Encouraging Synergistic Behavior

Rohan Chitnis, Shubham Tulsiani+2 more|arXiv (Cornell University)|Feb 12, 2020

Reinforcement Learning in Robotics参考文献 37被引用数 5

ひとこと要約

本論文は、個々のエージェントの行動の組み合わせから予測できない連携行動に対する報酬を与えることで、マルチエージェント強化学習における協調的行動を促進する、新しい内発的動機付けメカニズムを提案する。真の状態または共同で訓練されたダイナミクスモデルを用いて、連携予測と組み合わせ予測の差を活用することで、スパarsな報酬のみまたはサプライズに基づく内発的報酬よりも著しく高い学習効率を達成し、特にスパarsな報酬が課せられる二腕操作やマルチエージェント走破タスクにおいて顕著である。

ABSTRACT

We study the role of intrinsic motivation as an exploration bias for reinforcement learning in sparse-reward synergistic tasks, which are tasks where multiple agents must work together to achieve a goal they could not individually. Our key idea is that a good guiding principle for intrinsic motivation in synergistic tasks is to take actions which affect the world in ways that would not be achieved if the agents were acting on their own. Thus, we propose to incentivize agents to take (joint) actions whose effects cannot be predicted via a composition of the predicted effect for each individual agent. We study two instantiations of this idea, one based on the true states encountered, and another based on a dynamics model trained concurrently with the policy. While the former is simpler, the latter has the benefit of being analytically differentiable with respect to the action taken. We validate our approach in robotic bimanual manipulation and multi-agent locomotion tasks with sparse rewards; we find that our approach yields more efficient learning than both 1) training with only the sparse reward and 2) using the typical surprise-based formulation of intrinsic motivation, which does not bias toward synergistic behavior. Videos are available on the project webpage: https://sites.google.com/view/iclr2020-synergistic.

研究の動機と目的

• スパarsな報酬が課せられるマルチエージェント強化学習における効率的な探索の課題に取り組むこと。協調的行動が不可欠であるが、発見が困難である。
• 一般の好奇心やサプライズとは異なり、協調的行動に特化して学習を偏らせる内発的動機付けメカニズムを開発すること。
• 個々のエージェントでは目的を達成できない複雑なタスク、例えば二腕操作やマルチエージェント走破において、サンプル効率の良い学習を可能にすること。
• ポリシー勾配フレームワークにおける最適化効率を向上させるために、共同で訓練されたダイナミクスモデルからの解析的勾配の利用を検討すること。
• 2人以上のエージェントにまでこの手法を拡張し、より複雑な協調的環境においてその有効性を検証すること。

提案手法

• 真の連携効果と個々のエージェントの行動から構成された予測との差に着目した2つの内発的報酬定式化を提案。1つは真の状態を用い、もう1つは共同で訓練されたダイナミクスモデルを用いて解析的勾配を提供する。
• 連携動作の真の結果を予測するための連携フォワードモデル $ f^{\text{joint}} $ を用い、個々のエージェントモデルから構成された予測 $ f^{\text{composed}} $ と比較する。
• 真の状態を用いたL2差分に基づく内発的報酬 $ r_1^{\text{intrinsic}} $ を定義する。
• 連携モデルと組み合わせモデルの予測差分に基づく $ r_2^{\text{intrinsic}} $ を定義し、行動を経由したバックプロパゲーションを可能にする。
• 内発的報酬をポリシー勾配フレームワークに統合し、より高いサンプル効率を達成するエンドツーエンドの学習を可能にする。
• 3エージェントにまで拡張するため、予測を順番に組み合わせ、すべての順序について評価することで、順序に依存する感度を低減する。

実験結果

リサーチクエスチョン

• RQ1 スパarsな報酬が課せられる協調的マルチエージェントタスクにおいて、非可換な連携効果を報酬化する内発的動機付けが学習効率を向上させるか？
• RQ2 連携予測と組み合わせ予測の乖離に基づく定式化が、サプライズベースの内発的報酬を上回り、協調的行動を促進するか？
• RQ3 共同で訓練されたダイナミクスモデルからの解析的勾配が、ポリシー勾配学習におけるサンプル効率を向上させるか？
• RQ4 この手法は2人以上のエージェントにまでスケーリング可能か？また、組み合わせ予測の順序が性能に影響を与えるか？
• RQ5 外在的報酬が存在しない状況（$ \lambda = 0 $）でも、内発的報酬のみでエージェントが協調的行動を学習できるか？

主な発見

• 提案手法の内発的動機付けは、二腕操作やマルチエージェント走破を含む6つのシミュレーションタスクにおいて、外在的報酬のみで学習する手法を著しく上回る。
• 本手法は、協調的行動を明示的に促進しないサプライズベースの内発的報酬よりも優れた性能を示し、協調的タスクでは特に顕著である。
• 解析的勾配を用いた定式化（$ r_2^{\text{intrinsic}} $）は、微分不可能なバージョン（$ r_1^{\text{intrinsic}} $）よりも高いサンプル効率を達成しており、学習曲線の収束が速いことが示された。
• 3エージェント環境（アンプッシュとサッカー）においても、本手法は高い性能を維持しており、2エージェントを超えるスケーラビリティが確認された。
• 外在的報酬なし（$ \lambda = 0 $）で学習した場合でも、エージェントは依然として協調的行動を学習するが、必ずしもタスクを達成するとは限らない。これは、内発的報酬が協調的行動への探索を導くことを確認する。
• アブレーションスタディの結果、驚異的ベースラインにおいて連携モデルの事前学習が性能向上に寄与しないことが判明。これは、主な利点がモデル容量ではなく協調的バイアスにあることを裏付けた。