[論文レビュー] Influence-Based Multi-Agent Exploration

Tonghan Wang, Jianhao Wang+2 more|arXiv (Cornell University)|Oct 12, 2019

Reinforcement Learning in Robotics参考文献 58被引用数 5

ひとこと要約

本稿では、相互情報量と新規の相互作用価値（VoI）測定法を用いて、分散型探索を調整する2つの影響に基づくマルチエージェント探索手法—情報理論的影響を用いた探索（EITI）と意思決定理論的影響を用いた探索（EDTI）—を提案する。これらの手法は、方策勾配法における内生的報酬正則化項として統合され、スパarsely報酬が与えられるマルチエージェント環境において、協調的で高報酬の方策に至る相互作用ポイントを学習する。

ABSTRACT

Intrinsically motivated reinforcement learning aims to address the exploration challenge for sparse-reward tasks. However, the study of exploration methods in transition-dependent multi-agent settings is largely absent from the literature. We aim to take a step towards solving this problem. We present two exploration methods: exploration via information-theoretic influence (EITI) and exploration via decision-theoretic influence (EDTI), by exploiting the role of interaction in coordinated behaviors of agents. EITI uses mutual information to capture influence transition dynamics. EDTI uses a novel intrinsic reward, called Value of Interaction (VoI), to characterize and quantify the influence of one agent's behavior on expected returns of other agents. By optimizing EITI or EDTI objective as a regularizer, agents are encouraged to coordinate their exploration and learn policies to optimize team performance. We show how to optimize these regularizers so that they can be easily integrated with policy gradient reinforcement learning. The resulting update rule draws a connection between coordinated exploration and intrinsic reward distribution. Finally, we empirically demonstrate the significant strength of our method in a variety of multi-agent scenarios.

研究の動機と目的

• スパース報酬が与えられる遷移依存型マルチエージェント強化学習設定における探索手法の不足を解消すること。
• 状態行動空間における重要な相互作用ポイントを特定・訪問することで、エージェントが探索を協調的に実行できるようにすること。
• 1つのエージェントの行動が他のエージェントの学習およびパフォーマンスに与える影響を反映する内生的報酬メカニズムの開発。
• 影響に基づく探索を方策勾配フレームワークに統合し、分散型でスケーラブルな学習を可能にすること。
• 長期的協調性を要する複雑な協調的マルチエージェントタスクにおいて、有効性を実証すること。

提案手法

• EITIを提案し、エージェント間の遷移ダイナミクスにおける相互依存性を測定するために相互情報量（MI）を用いる。
• EDTIを導入し、1つのエージェントの行動が他のエージェントの期待報酬に与える因果的影響を測定するための新規な相互作用価値（VoI）メトリクスを採用する。
• MIおよびVoIを方策勾配の目的関数における正則化項として定式化し、高影響状態の探索を促進する。
• トレーリングからのみ勾配推定が可能な拡張型方策勾配更新式を導出することで、エンドツーエンドの学習を可能にする。
• 中央集権的な調整なしに、影響測定に基づいて内生的報酬計算を分散化することで、分散学習を実現する。
• チームメンバー間での内生的報酬の分布と協調的探索を結びつけ、学習効率の向上を説明する。

実験結果

リサーチクエスチョン

• RQ1 スパース報酬環境における効果的なマルチエージェント探索を支援するため、エージェント間の影響をどのように定量化できるか。
• RQ2 相互情報量は、マルチエージェントシステムにおける協調的探索を導く意味のある相互作用ダイナミクスを捉えられるか。
• RQ3 意思決定理論的測定法（例：相互作用価値（VoI））は、情報理論的測定法よりも高影響相互作用をよりよく同定できるか。
• RQ4 マルチエージェント環境において、影響に基づく内生的報酬は、標準的な好奇心や内生的形状化手法と比較してどのように異なるか。
• RQ5 影響に基づく探索は、複雑なタスクにおいて、部分的な目標（サブゴール）を発見し、長時間スケールの協調行動を可能にする程度はどの程度か。

主な発見

• EITIおよびEDTIは、プッシュボックス、アイランド、Large-islandなどのスパース報酬の協調的マルチエージェントタスクにおいて、ベースラインを著しく上回る性能を示した。
• プッシュボックスタスクでは、両手法とも協調的な複数ステップ押し行動を学習できたが、すべてのベースラインは報酬を達成できなかった。
• アイランドタスクでは、報酬収集による局所最適に陥るにもかかわらず、EDTIがエージェントに集団での獲物狩り戦略の発見と活用を可能にした。
• すべての相互作用がパフォーマンス向上に寄与しないタスクでは、EDTIがEITIを上回った。これは、EDTIが有益でない相互作用をフィルタリングできる能力に起因する。
• 手法は、サブゴールとして機能する影響力のある状態を暗黙的に発見し、高価値の協調パターンへの探索を誘導した。
• 実験的結果から、影響測定（MIおよびVoI）が有効な探索を促進し、複雑な環境における収束速度の向上に寄与することが示された。