[论文解读] Decentralised Multi-Agent Reinforcement Learning for Dynamic and Uncertain Environments

Andrei Marinescu, Ivana Dusparić+3 more|arXiv (Cornell University)|Sep 16, 2014

Smart Grid Energy Management参考文献 14被引用 12

一句话总结

本文提出P-MARL，一种通过人工神经网络与自组织映射实现预测机制的去中心化多智能体强化学习算法，可实时检测并适应环境变化。在智能电网场景中评估，P-MARL在动态且不确定条件下实现了92%的帕累托效率，用于电动汽车充电优化。

ABSTRACT

Multi-Agent Reinforcement Learning (MARL) is a widely used technique for optimization in decentralised control problems. However, most applications of MARL are in static environments, and are not suitable when agent behaviour and environment conditions are dynamic and uncertain. Addressing uncertainty in such environments remains a challenging problem for MARL-based systems. The dynamic nature of the environment causes previous knowledge of how agents interact to become outdated. Advanced knowledge of potential changes through prediction significantly supports agents converging to near-optimal control solutions. In this paper we propose P-MARL, a decentralised MARL algorithm enhanced by a prediction mechanism that provides accurate information regarding up-coming changes in the environment. This prediction is achieved by employing an Artificial Neural Network combined with a Self-Organising Map that detects and matches changes in the environment. The proposed algorithm is validated in a realistic smart-grid scenario, and provides a 92% Pareto efficient solution to an electric vehicle charging problem.

研究动机与目标

• 解决去中心化多智能体强化学习（MARL）中非平稳、不确定环境的挑战，传统MARL因动态的智能体交互和不断变化的条件而失效。
• 通过集成实时预测机制减少MARL中的不确定性，该机制可检测环境变化，并在异常发生时触发重新预测。
• 开发一种可扩展、保护隐私的非协作式MARL解决方案，适用于智能电网等实际应用，避免集中化带来的通信开销和可扩展性限制问题。
• 通过结合在线学习与未来需求模式的预测建模，提升在动态环境中收敛至近优解的能力。
• 证明预测性自适应在预测误差和意外环境变化下仍能维持高性能的有效性。

提出的方法

• 使用人工神经网络（ANN）和自组织映射（SOM）构建预测模块，实现实时检测和匹配环境模式变化。
• 利用预测模块生成未来环境状态估计，并据此指导MARL智能体选择能优化长期奖励的动作。
• 实施动态重新预测机制，当检测到与预测行为显著偏离时触发，确保环境预测的实时更新。
• 应用去中心化、非协作式MARL算法（P-MARL），其中每个智能体基于本地观测和预测的环境状态独立学习。
• 基于电价（与总需求成正比）进行奖励塑造，引导智能体选择成本效益更高的充电调度。
• 监控预测的实时偏差，并利用类似变化的历史模式重新计算预测，提升对不确定性的鲁棒性。

实验结果

研究问题

• RQ1 去中心化MARL算法是否能在环境状态不可预测演化的高度动态和不确定环境中维持高性能？
• RQ2 集成实时预测与模式变化检测机制在非平稳环境下如何提升MARL的收敛性和最优性？
• RQ3 预测精度在现实应用（如电动汽车充电）中对MARL解决方案的帕累托效率有多大影响？
• RQ4 在不同预测质量下，P-MARL与基线方法（如贪婪策略、谷值填充）在帕累托效率和鲁棒性方面表现如何？
• RQ5 基于预测的自适应机制是否能在无需智能体间集中协调或通信的情况下，减轻环境不确定性的负面影响？

主要发现

• 在完美预测的理想情况下，P-MARL实现了92.4%的帕累托效率，表明在动态电动汽车充电中接近最优性能。
• 即使在预测不完美（7.66% MAPE）的情况下，P-MARL仍保持优异性能，帕累托效率达89.6%，优于贪婪和基于调度的方法。
• 当因意外变化触发重新预测时，性能仅下降0.2%，表明其具备极强的适应能力。
• 与贪婪或谷值填充算法不同，P-MARL通过利用预测洞察避免在高峰需求时段充电，尽管在预测质量差时仍会出现部分高峰时段的次优充电。
• 所有电动汽车在到达时均保持在40%至60%的荷电状态，避免完全充电，可能有助于延长电池寿命。
• 预测机制显著提升了性能：当预测准确率从4.66%下降至7.66% MAPE时，帕累托效率从92.4%降至89.6%，证实了准确预测的关键作用。