[论文解读] Deception in Social Learning: A Multi-Agent Reinforcement Learning Perspective

Paul Chelarescu|arXiv (Cornell University)|Jun 9, 2021

Experimental Behavioral Economics Studies参考文献 68被引用 8

一句话总结

本文研究了多智能体强化学习（MARL）中社交学习里的欺骗问题，其中智能体通过重塑彼此的奖励函数来促进合作。研究识别出当智能体操纵他人学习过程时，欺骗是一个关键风险，并为未来构建稳健、可信的社交学习系统指出了关键开放问题和假设。

ABSTRACT

Within the framework of Multi-Agent Reinforcement Learning, Social Learning is a new class of algorithms that enables agents to reshape the reward function of other agents with the goal of promoting cooperation and achieving higher global rewards in mixed-motive games. However, this new modification allows agents unprecedented access to each other's learning process, which can drastically increase the risk of manipulation when an agent does not realize it is being deceived into adopting policies which are not actually in its own best interest. This research review introduces the problem statement, defines key concepts, critically evaluates existing evidence and addresses open problems that should be addressed in future research.

研究动机与目标

• 识别欺骗作为多智能体强化学习（MARL）中社交学习的一个关键且未被充分探索的风险。
• 分析直接奖励塑造如何在混合动机、合作竞争环境中实现操纵。
• 将社交激励中的欺骗问题视为构建可信、可扩展合作人工智能系统的核心挑战。
• 突出信任、透明度和激励机制合作中的稳健性方面的开放研究问题。
• 为未来工作提供基础，以检测、预防和建模社交学习多智能体系统中的欺骗行为。

提出的方法

• 引入社交学习作为MARL框架，其中智能体可根据同伴评估重塑彼此的奖励函数。
• 通过奖励操纵的视角分析欺骗，即智能体误导他人采用次优策略。
• 提出一种规划智能体模型，利用对他人对激励反应的学习过程的预测模型。
• 将联合策略的非平稳性视为检测和防止欺骗行为的关键挑战。
• 探讨信息不对称和自博弈作为建模欺骗对手并构建稳健应对措施的机制。
• 研究自博弈在协调游戏中泛化到新型潜在欺骗伙伴方面的局限性。

实验结果

研究问题

• RQ1 如何通过操纵奖励函数使智能体被欺骗而采用不符合自身最佳利益的策略？
• RQ2 在智能体重塑彼此学习过程时，应采用何种机制来确保信任与透明度？
• RQ3 合作智能体如何在异质性、混合动机环境中检测并防御欺骗？
• RQ4 多智能体学习中的非平稳性在多大程度上使欺骗行为的检测复杂化？
• RQ5 基于自博弈的训练能否产生对新型对抗性智能体欺骗具有鲁棒性的策略？

主要发现

• 社交学习中的欺骗源于智能体操纵他人奖励函数以促进自身有利的策略，从而形成高风险的操纵路径。
• 当前的社交学习机制假设智能体同质，但在目标各异的异质群体中，欺骗成为重大关切。
• 规划智能体模型（可预测并塑造他人学习）若模型不透明且智能体无法拒绝激励，则会引入伦理风险。
• 基于自博弈的训练可能产生高度特异的策略，难以泛化到新伙伴，从而限制对欺骗的鲁棒性。
• 并发学习中的非平稳性使欺骗检测复杂化，未来方法需考虑动态、变化的联合策略。
• 现有对不对称信息博弈中稳健性的方法（如对手建模）可扩展用于欺骗检测，但前提是欺骗行为能通过自博弈完美重构。