[论文解读] Multi-Agent Adversarial Inverse Reinforcement Learning

Lantao Yu, Jiaming Song+1 more|arXiv (Cornell University)|Jul 30, 2019

Anomaly Detection Techniques and Applications被引用 45

一句话总结

MA-AIRL 是一个可扩展的 MaxEnt IRL 框架，用于马尔可夫博弈，从专家演示中学习奖励函数和策略，采用逻辑随机最佳响应均衡和对抗性训练。

ABSTRACT

Reinforcement learning agents are prone to undesired behaviors due to reward mis-specification. Finding a set of reward functions to properly guide agent behaviors is particularly challenging in multi-agent scenarios. Inverse reinforcement learning provides a framework to automatically acquire suitable reward functions from expert demonstrations. Its extension to multi-agent settings, however, is difficult due to the more complex notions of rational behaviors. In this paper, we propose MA-AIRL, a new framework for multi-agent inverse reinforcement learning, which is effective and scalable for Markov games with high-dimensional state-action space and unknown dynamics. We derive our algorithm based on a new solution concept and maximum pseudolikelihood estimation within an adversarial reward learning framework. In the experiments, we demonstrate that MA-AIRL can recover reward functions that are highly correlated with ground truth ones, and significantly outperforms prior methods in terms of policy imitation.

研究动机与目标

• 激发在多智能体系统中设计奖励的难点，以及在此类环境中 IRL 的病态性。
• 引入一种适用于多智能体 IRL 的新均衡概念（逻辑随机最佳响应均衡，LSBRE）。
• 通过将 LSBRE 与 MaxEnt RL 连接并使用最大伪似然估计实现可行训练，发展 MA-AIRL。
• 提供一个实用的对抗性 IRL 框架，能够在高维、未知动力学的马尔可夫博弈中恢复奖励函数并实现策略模仿。

提出的方法

• 将逻辑随机最佳响应均衡（LSBRE）定义为一个随时间变化的联合策略序列，其中每个代理以随机、熵正则化的方式进行最佳响应。
• 证明 LSBRE 诱导的轨迹分布可用基于能量的（MaxEnt）形式来表征。
• 推导一个最大伪似然目标，在逐个智能体条件策略上进行优化，从而实现多智能体设置中的可行学习。
• 将 MA-AIRL 形成一个对抗学习框架，判别器参数化以估计奖励，适应性采样器用于重要加权分区函数估计。
• 使用自适应采样器 q_theta 和带有结构化 f_{omega,phi} 的奖励估计器 g_omega，在潜在基形塑的范围内恢复奖励，减轻奖励模糊性。
• 提供一个算法（Algorithm 1），交替进行判别器和生成器更新，以恢复策略和仿真真实奖励。

实验结果

研究问题

• RQ1 MA-AIRL 是否能够在多智能体马尔可夫博弈中高效地从演示中恢复每个智能体的专家策略（策略模仿）？
• RQ2 MA-AIRL 是否能够在 LSBRE 下准确恢复使演示合理化的潜在奖励函数？
• RQ3 在协作和竞争任务中，MA-AIRL 相对于先前的多智能体模仿学习方法（如 MA-GAIL）的比较？
• RQ4 在未知动力学下，MA-AIRL 是否能扩展到高维状态-行动空间，同时保持奖励可识别性？

主要发现

• MA-AIRL 在实验中恢复的奖励函数与真实值高度相关。
• MA-AIRL 学习的策略在混合协作与竞争任务中显著优于最先进的多智能体模仿学习基线。
• MA-AIRL 通过 LSBRE 框架和伪似然估计，将 MaxEnt IRL 与对抗性训练扩展到马尔可夫博弈。
• 判别器输出与奖励估计一致，同时自适应采样器 q_theta 估计专家策略，从而实现稳定训练。
• MA-AIRL 展现出在高维状态-行动空间和未知动力学下的可扩展性，而以往的表格化或简单结构的 IRL 方法在此处失效。