[論文レビュー] M$^3$RL: Mind-aware Multi-agent Management Reinforcement Learning

Tianmin Shu, Yuandong Tian|arXiv (Cornell University)|Sep 29, 2018

Reinforcement Learning in Robotics参考文献 41被引用数 13

ひとこと要約

本稿では、自己利益志向のワーカーエージェントの心（スキル、好み、意図）をリアルタイムで推論し、ボーナス付きの最適な契約を割り当てることで、効率的で柔軟な協働を可能にする強化学習フレームワーク、M$^3$RLを提案する。行動履歴と観察データに基づき、ミラーリング学習による心の追跡と、深層強化学習による契約生成を統合することで、最小限の支払いで高い生産性を達成し、動的なマルチエージェント環境において優れた一般化性能と迅速な適応性を示した。

ABSTRACT

Most of the prior work on multi-agent reinforcement learning (MARL) achieves optimal collaboration by directly controlling the agents to maximize a common reward. In this paper, we aim to address this from a different angle. In particular, we consider scenarios where there are self-interested agents (i.e., worker agents) which have their own minds (preferences, intentions, skills, etc.) and can not be dictated to perform tasks they do not wish to do. For achieving optimal coordination among these agents, we train a super agent (i.e., the manager) to manage them by first inferring their minds based on both current and past observations and then initiating contracts to assign suitable tasks to workers and promise to reward them with corresponding bonuses so that they will agree to work together. The objective of the manager is maximizing the overall productivity as well as minimizing payments made to the workers for ad-hoc worker teaming. To train the manager, we propose Mind-aware Multi-agent Management Reinforcement Learning (M^3RL), which consists of agent modeling and policy learning. We have evaluated our approach in two environments, Resource Collection and Crafting, to simulate multi-agent management problems with various task settings and multiple designs for the worker agents. The experimental results have validated the effectiveness of our approach in modeling worker agents' minds online, and in achieving optimal ad-hoc teaming with good generalization and fast adaptation.

研究の動機と目的

• 自己利益志向のエージェントが、個人の好み、スキル、意図を秘匿しているマルチエージェントシステムにおける協調の課題に対処すること。
• 行動履歴と観察データを用いて、オンラインでワーカーの心を推論できるマネージャーエージェントを開発すること。
• チームの生産性を最大化すると同時に支払いコストを最小化するように、契約（目標とボーナス）の割り当てを最適化すること。
• 変化するチーム編成、進化するワーカーのスキル・好み、および新規環境への迅速な適応を可能にすること。
• 高度な探索戦略と後続表現技術を用いて、学習効率と方策の一般化性能を向上させること。

提案手法

• マネージャーはミラーリング学習（IL）を用いて、パフォーマンス履歴からワーカーのアイデンティティを特定し、内部状態（スキル、好み）を追跡する。
• 心トラッカーは、ILにより訓練され、観察された行動とタスクの成果に基づいてワーカーの私的属性を推定する。
• 契約生成は、深層強化学習（RL）の問題として定式化され、マネージャーは協力を促すために目標とボーナスを割り当てる。
• 高レベルの後続表現（SR）が学習され、複雑なタスク依存関係における信用配分と方策の一般化を向上させる。
• エージェントごとのε-グリーディ探索が適用され、変化するワーカー構成を伴う動的環境における学習効率が向上する。
• ワーカーのアイデンティティはパフォーマンス履歴から推定され、事前の知識がなくても個々のエージェントの状態を追跡・適応可能になる。

実験結果

リサーチクエスチョン

• RQ1 マネージャーは、行動パターンから自己利益志向のワーカーエージェントの私的な心（スキル、好み、意図）を効果的に推論できるか？
• RQ2 マネージャーは、チームの生産性を最大化すると同時に支払いコストを最小化する最適な契約（目標とボーナス）をどれほどうまく割り当てられるか？
• RQ3 本手法は、新規のワーカーの追加やスキル分布の変化を伴う新しいチーム編成に対し、どの程度一般化できるか？
• RQ4 遅延的かつスパarselyな報酬を持つ動的環境において、本手法の適応性はどの程度効果的か？
• RQ5 IL、SR、エージェントごとの探索といった主要な構成要素が、全体のパフォーマンスと適応性に果たす貢献度はいかほどか？

主な発見

• パフォーマンス履歴とミラーリング学習を用いて、マネージャーは、好みが固定でない場合や欺瞞的な場合でも、リアルタイムでワーカーの心を正確に推論できた。
• リソース収集およびクラフト環境の両方で、ベースライン手法に比べて平均報酬が高く、特にチーム編成が変化する状況で顕著な優位性を示した。
• 75％のワーカーが入れ替わる状況でも、M$^3$RLマネージャーはオラクル（真値を知る）と同等の報酬に迅速に適応し、時間的ε-グリーディベースラインを上回った。
• 異なるチームサイズに対しても良好な一般化性能を示し、ワーカー数が増加するに従い報酬が頭打つが、低数のワーカー環境では真値ベースラインを上回ることもあった。
• 確率的および非最適なワーカー方策に対しても、マネージャーのパフォーマンスは強く保たれ、最大20％の行動ランダム性に対しても報酬低下はわずかにとどまった。
• アブレーションスタディにより、IL、SR、エージェントごとの探索が学習効率、安定性、適応速度の向上に不可欠な要素であることが確認された。