[论文解读] Differential Advising in Multi-Agent Reinforcement Learning

Dayong Ye, Tianqing Zhu+3 more|arXiv (Cornell University)|Nov 7, 2020

Privacy-Preserving Technologies in Data参考文献 25被引用 4

一句话总结

本文提出了一种多智能体强化学习中的差异性建议方法（DA-RL），通过借鉴微分隐私的原理，使智能体能够利用状态略有不同的建议。通过放宽先前方法对严格状态匹配的要求，DA-RL在复杂环境中提升了学习效率，在离散与连续设置下均实现了比基线方法更快的收敛速度和更优的性能。

ABSTRACT

Agent advising is one of the main approaches to improve agent learning performance by enabling agents to share advice. Existing advising methods have a common limitation that an adviser agent can offer advice to an advisee agent only if the advice is created in the same state as the advisee's concerned state. However, in complex environments, it is a very strong requirement that two states are the same, because a state may consist of multiple dimensions and two states being the same means that all these dimensions in the two states are correspondingly identical. Therefore, this requirement may limit the applicability of existing advising methods to complex environments. In this paper, inspired by the differential privacy scheme, we propose a differential advising method which relaxes this requirement by enabling agents to use advice in a state even if the advice is created in a slightly different state. Compared with existing methods, agents using the proposed method have more opportunity to take advice from others. This paper is the first to adopt the concept of differential privacy on advising to improve agent learning performance instead of addressing security issues. The experimental results demonstrate that the proposed method is more efficient in complex environments than existing methods.

研究动机与目标

• 解决现有智能体建议方法中要求状态完全相同才能进行建议传递的局限性。
• 改善在精确状态匹配罕见或不切实际的复杂多智能体环境中的学习效率。
• 使智能体能够从邻近或相似状态生成的建议中获益，从而提升建议的可用性。
• 将微分隐私应用于提升学习性能，而非用于安全保护，通过状态鲁棒的建议传递机制增强学习效率。
• 通过在多样化环境中的实证评估，验证所提方法的有效性。

提出的方法

• 该方法引入一种差异性建议机制，允许在状态差异较小的环境下复用建议，其中状态差异通过有界的状态差异度量进行定义。
• 应用微分隐私的核心原理——即输入的微小变化仅导致输出的近似不变——以确保来自邻近状态的建议在目标状态中近似有效。
• 基于两个状态之间不同维度的数量定义状态差异度量，并设定阈值以判断“接近程度”。
• 仅当状态差异在预设范围内时才使用建议，以确保相关性并最小化性能下降。
• 采用基于权重的聚合方案整合来自多个智能体的建议，权重取决于建议状态与当前状态之间的相似度。
• 该方法在多智能体强化学习框架中实现，智能体在学习策略的同时，可动态访问并应用其他智能体的建议。

实验结果

研究问题

• RQ1 智能体能否有效利用当前状态与之不完全相同的建议？
• RQ2 放宽严格状态匹配要求后，学习速度与性能在复杂环境中如何变化？
• RQ3 微分隐私原理在多智能体强化学习中能否被重新用于提升建议传递性能，而不仅限于隐私保护？
• RQ4 与现有建议及非建议基线方法相比，所提方法在收敛速度与最终性能方面表现如何？
• RQ5 状态相似度阈值对建议质量与学习效率有何影响？

主要发现

• 在简单环境中，DA-RL的收敛速度比SA-RL快约10%，比标准RL快约20%。
• 在复杂环境中，DA-RL在约500次迭代内实现收敛，而SA-RL为600次，标准RL为900次。
• 与SA-RL相比，DA-RL将每项目标的平均时间步数减少了15%–20%；与标准RL相比，减少了40%。
• 在动态目标场景中，DA-RL的平均奖励比SA-RL高出10%–15%，比标准RL高出20%–30%。
• 即使在动态引入新目标的情况下，该方法仍表现出稳健性能，平均时间步数指标保持稳定收敛。
• 实证结果证实，差异性建议显著提升了复杂、高维环境中的学习效率与可扩展性。