[论文解读] Inverse Reinforcement Learning in Swarm Systems

Adrian Šošić, Wasiur R. KhudaBukhsh+2 more|arXiv (Cornell University)|May 8, 2017

Reinforcement Learning in Robotics参考文献 34被引用 29

一句话总结

本文提出了 swarMDP，一种用于同质大规模集群系统中的逆强化学习新框架，通过利用代理价值函数中的对称性，将多智能体 IRL 问题简化为单智能体问题。该框架提出了一种异质学习方案，可恢复局部奖励模型，从而在两个测试系统中准确复现观测到的全局集群动力学。

ABSTRACT

Inverse reinforcement learning (IRL) has become a useful tool for learning behavioral models from demonstration data. However, IRL remains mostly unexplored for multi-agent systems. In this paper, we show how the principle of IRL can be extended to homogeneous large-scale problems, inspired by the collective swarming behavior of natural systems. In particular, we make the following contributions to the field: 1) We introduce the swarMDP framework, a sub-class of decentralized partially observable Markov decision processes endowed with a swarm characterization. 2) Exploiting the inherent homogeneity of this framework, we reduce the resulting multi-agent IRL problem to a single-agent one by proving that the agent-specific value functions in this model coincide. 3) To solve the corresponding control problem, we propose a novel heterogeneous learning scheme that is particularly tailored to the swarm setting. Results on two example systems demonstrate that our framework is able to produce meaningful local reward models from which we can replicate the observed global system dynamics.

研究动机与目标

• 解决多智能体和集群系统中逆强化学习（IRL）应用的缺乏问题。
• 形式化一类具有集群特性的去中心化部分可观察马尔可夫决策过程（MDPs）子类。
• 利用大规模集群中代理的同质性，将多智能体 IRL 问题简化为单智能体问题。
• 设计一种专为集群动力学定制的学习方案，实现从全局示范中恢复局部奖励函数。
• 验证该框架在使用学习到的局部奖励时，复现观测到的全局系统行为的能力。

提出的方法

• 提出 swarMDP，作为一类具有形式化集群特征的去中心化 POMDP 子类，适用于同质多智能体系统。
• 证明在同质性条件下，swarMDP 中各代理的特定价值函数是相同的，从而实现将多智能体 IRL 简化为单智能体 IRL。
• 开发一种专为集群环境设计的异质学习方案，可从示范数据中高效实现策略学习。
• 利用示范数据推断局部奖励函数，当这些函数被优化时，可复现观测到的全局系统动力学。
• 将该框架应用于两个示例系统，以验证有意义的局部奖励的恢复以及对全局行为的精确复现。

实验结果

研究问题

• RQ1 逆强化学习能否有效扩展到具有集体行为的大规模同质多智能体系统？
• RQ2 在多大程度上可以利用集群系统的对称性和同质性，将多智能体 IRL 简化为单智能体问题？
• RQ3 定制化的学习方案能否恢复出能准确复现观测到的全局集群动力学的局部奖励函数？
• RQ4 在现实世界启发的集群系统中，该框架在多大程度上能从局部奖励模型复现复杂全局行为？

主要发现

• 该框架通过证明在同质性条件下各代理的特定价值函数相同，成功地将多智能体 IRL 问题简化为单智能体问题。
• 所提出的异质学习方案通过聚焦于从全局示范中推断局部奖励，实现了在集群系统中的有效策略学习。
• 在两个示例系统中，学习到的局部奖励模型均以高保真度复现了观测到的全局动力学。
• 结果表明，即使在大规模、去中心化的环境中，也能从示范数据中恢复出有意义的局部奖励函数。