[论文解读] Adversarially Guided Self-Play for Adopting Social Conventions

Mycal Tucker, Yilun Zhou+1 more|arXiv (Cornell University)|Jan 16, 2020

Reinforcement Learning in Robotics参考文献 27被引用 6

一句话总结

本文提出对抗自博弈（Adversarial Self-Play, ASP），一种仅使用未配对示范数据（即遵循某种社会规范的智能体输出，但无对应输入）即可使智能体学习并采纳现有社会规范的方法。通过结合对抗训练与自博弈，并辅以极少的配对数据，ASP 显著提升了学习效率，在仅使用两个配对样本的情况下也能实现对社会规范的强一致性。

ABSTRACT

Robotic agents must adopt existing social conventions in order to be effective teammates. These social conventions, such as driving on the right or left side of the road, are arbitrary choices among optimal policies, but all agents on a successful team must use the same convention. Prior work has identified a method of combining self-play with paired input-output data gathered from existing agents in order to learn their social convention without interacting with them. We build upon this work by introducing a technique called Adversarial Self-Play (ASP) that uses adversarial training to shape the space of possible learned policies and substantially improves learning efficiency. ASP only requires the addition of unpaired data: a dataset of outputs produced by the social convention without associated inputs. Theoretical analysis reveals how ASP shapes the policy space and the circumstances (when behaviors are clustered or exhibit some other structure) under which it offers the greatest benefits. Empirical results across three domains confirm ASP's advantages: it produces models that more closely match the desired social convention when given as few as two paired datapoints.

研究动机与目标

• 使机器人智能体在无需大量交互或配对输入输出数据的情况下，采纳现有社会规范（如靠右行驶或靠左行驶）。
• 解决先前方法（如观察增强自博弈，Observationally Augmented Self-Play, OSP）的局限性，后者依赖于成本高昂的配对数据（输入与输出），在真实场景中往往难以获取。
• 开发一种利用未配对数据（仅来自遵循规范的智能体的输出）通过对抗训练引导策略学习的技术，模仿人类通过观察学习的方式。
• 通过塑造策略空间以偏好采纳既定社会规范，提升多智能体强化学习中的样本效率。
• 在包括通信游戏、自编码器和多步协调任务在内的多样化领域中，展示该方法的通用性与鲁棒性。

提出的方法

• ASP 引入一个判别器，仅使用来自目标社会规范的未配对输出，区分训练智能体生成的动作与规范行为。
• 训练智能体被优化以欺骗判别器，从而在无输入信息的情况下，使其策略分布与社会规范对齐。
• ASP 将此对抗性引导与自博弈相结合，智能体在联合马尔可夫决策过程（MDP）中相互训练，提升协调性并加速收敛至期望规范。
• 该方法结合了有限的配对数据（用于监督信号）与未配对数据（用于对抗性策略引导），从而减少对昂贵配对示范的依赖。
• 理论分析表明，当行为呈现聚类或结构化模式时，ASP 效果最佳，此时判别器能更有效地引导策略学习。
• 该方法具有通用性，可适用于多种学习框架（包括深度强化学习、模仿学习与自编码器），得益于其模块化设计。

实验结果

研究问题

• RQ1 智能体能否仅通过观察遵循规范的智能体的未配对输出（无需输入-动作配对数据），学习并符合社会规范？
• RQ2 与现有自博弈或模仿学习方法相比，使用未配对数据进行对抗训练在策略学习效率与准确性方面有何提升？
• RQ3 在何种结构条件下（如行为聚类或特定策略分布）下，对抗性引导能带来最大收益？
• RQ4 ASP 是否能在多样化的多智能体环境中泛化，包括时序扩展的通信任务与多步协调游戏？
• RQ5 ASP 能在多大程度上减少达到高社会规范一致性所必需的配对示范数量？

主要发现

• 即使仅使用两个配对数据点，ASP 在符合社会规范方面也显著优于先前方法。
• 该方法通过利用未配对输出减少对配对数据的依赖，使仅通过观察数据学习规范成为可能。
• 在三个领域（说话者-听者通信、自编码器训练、多智能体协调）的实证结果表明，策略与目标规范的对齐性持续提升。
• 理论分析证实，当行为呈现聚类或结构化模式时，ASP 能有效塑造策略空间，从而提升学习效率。
• ASP 使智能体以类人方式学习社会规范：通过观察环境中的一致行为，无需显式指令。
• ASP 中的判别器充当强大的归纳偏置，即使在监督极少的情况下，也能引导策略朝向正确规范发展。