[论文解读] Inverse Dynamic Games Based on Maximum Entropy Inverse Reinforcement Learning

Jairo Inga, Esther Bischoff+2 more|arXiv (Cornell University)|Nov 18, 2019

Advanced Control Systems Optimization参考文献 38被引用 8

一句话总结

该论文将最大熵逆强化学习扩展至具有连续状态和控制空间的多玩家动态博弈，提出方法以识别帕累托效率解及开环与反馈纳什均衡的成本函数参数。主要贡献在于理论证明了参数估计的无偏性，并在非线性和线性二次模拟条件下展示了其在噪声环境下的鲁棒性。

ABSTRACT

We consider the inverse problem of dynamic games, where cost function parameters are sought which explain observed behavior of interacting players. Maximum entropy inverse reinforcement learning is extended to the N-player case in order to solve inverse dynamic games with continuous-valued state and control spaces. We present methods for identification of cost function parameters from observed data which correspond to (i) a Pareto efficient solution, (ii) an open-loop Nash equilibrium or (iii) a feedback Nash equilibrium. Furthermore, we give results on the unbiasedness of the estimation of cost function parameters for each arising class of inverse dynamic game. The applicability of the methods is demonstrated with simulation examples of a nonlinear and a linear-quadratic dynamic game.

研究动机与目标

• 通过从观测到的玩家行为中推断成本函数参数，解决动态博弈中的逆问题。
• 将最大熵逆强化学习扩展至多智能体设置中具有连续值状态和控制空间的情形。
• 为三种解概念（帕累托效率、开环纳什、反馈纳什均衡）开发可识别的方法。
• 为每种逆动态博弈表述建立确保成本函数参数无偏估计的理论条件。
• 通过在噪声测量条件下对非线性和线性二次动态博弈进行模拟，验证该方法。

提出的方法

• 将最大熵原理应用于具有连续状态和控制空间的多玩家动态博弈，推导出概率轨迹分布。
• 采用基于特征的成本函数，其具有参数线性结构，以建模各玩家的目标。
• 通过最大似然估计求解逆问题，即在满足由均衡条件导出的约束下，最大化观测轨迹的熵。
• 利用耦合的里卡蒂方程计算线性二次博弈中的反馈纳什均衡轨迹。
• 采用BFGS优化方法求解由此产生的非凸优化问题以实现参数识别。
• 为每种解概念（帕累托、开环、反馈纳什）推导出在所提框架下成本函数参数无偏估计的理论条件。

实验结果

研究问题

• RQ1 最大熵逆强化学习能否有效扩展至具有连续状态和控制空间的多玩家动态博弈？
• RQ2 如何利用逆强化学习识别合作型动态博弈中帕累托效率解的成本函数参数？
• RQ3 所提方法在开环与反馈纳什均衡假设下，对非合作型动态博弈参数识别的性能与鲁棒性如何？
• RQ4 在何种条件下，各解概念下估计的成本函数参数为无偏？
• RQ5 测量噪声如何影响逆动态博弈中参数识别的准确性？

主要发现

• 该方法成功识别出能重现所有三种解概念（帕累托效率、开环纳什、反馈纳什均衡）观测轨迹的成本函数参数。
• 在非线性摆动实例中，识别出的参数在理想条件下与真实值高度接近，状态的归一化最大绝对误差（NMAE）为0.010，控制的NMAE为0.016。
• 在线性二次实例中，该方法在无限信噪比（SNR）下保持低NMAE（状态为0.013，控制为0.032），性能仅在SNR低于20 dB时开始下降。
• 反馈纳什逆博弈方法对噪声更敏感，当SNR为15 dB时，控制的NMAE上升至0.998，但随着SNR提高显著改善。
• 理论分析证实，在所提框架下，所有三种解概念的成本函数参数估计均为无偏。
• 该方法在合作博弈（CG）中具有鲁棒性，即使在15 dB SNR下NMAE也保持在0.015以下，而非合作方法在低SNR下性能下降更快。