[论文解读] Consequentialist conditional cooperation in social dilemmas with imperfect information

Alexander Peysakhovich, Adam Lerer|arXiv (Cornell University)|Oct 19, 2017

Evolutionary Game Theory and Cooperation参考文献 42被引用 21

一句话总结

本文提出因果条件合作（CCC），一种基于强化学习的策略，其合作决策基于观测到的奖励而非直接的动作观测，从而在信息不完全的社会困境中实现有效合作。CCC 在遍历性博弈中确保长期收益保障，在如渔业博弈和乒乓玩家困境等随机、部分可观测环境中，其表现优于前瞻型策略，尽管在结果噪声较大时检测背叛行为可能较慢。

ABSTRACT

Social dilemmas, where mutual cooperation can lead to high payoffs but participants face incentives to cheat, are ubiquitous in multi-agent interaction. We wish to construct agents that cooperate with pure cooperators, avoid exploitation by pure defectors, and incentivize cooperation from the rest. However, often the actions taken by a partner are (partially) unobserved or the consequences of individual actions are hard to predict. We show that in a large class of games good strategies can be constructed by conditioning one's behavior solely on outcomes (ie. one's past rewards). We call this consequentialist conditional cooperation. We show how to construct such strategies using deep reinforcement learning techniques and demonstrate, both analytically and experimentally, that they are effective in social dilemmas beyond simple matrix games. We also show the limitations of relying purely on consequences and discuss the need for understanding both the consequences of and the intentions behind an action.

研究动机与目标

• 开发一种在伙伴动作仅部分可观测或结果不确定的社会困境中实现多智能体合作的策略。
• 设计一种基于强化学习的方法，仅根据观测到的奖励来决定合作，避免依赖完整策略建模或动作可观测性。
• 证明基于结果的条件合作（CCC）可在复杂、部分可观测的马尔可夫博弈中维持相互合作，避免被剥削，并确保高长期收益。
• 将 CCC 与前瞻型策略（如 amTFT）进行比较，突出在可检测性、计算成本和不确定性下的鲁棒性方面的权衡。
• 探讨仅基于结果的策略的局限性，并倡导在人机交互中采用结合结果与意图信号的混合模型。

提出的方法

• 本文提出一种深度强化学习框架，智能体基于时间平均历史奖励学习合作，采用基于阈值的规则决定是否合作。
• 将 CCC 形式化为一种策略：当累积或平均奖励超过动态学习的阈值时选择合作，该阈值通过自对弈和价值函数近似推导得出。
• 该方法使用一种自对弈形式训练适应博弈遍历结构的阈值策略，确保长期收益保障。
• 将 CCC 应用于部分可观测马尔可夫博弈（如渔业博弈和乒乓玩家困境），其中动作不可观测，奖励具有随机性。
• 通过分析与实验评估，将 CCC 与 amTFT（一种建模未来收益的前瞻型策略）进行比较。
• 在不同奖励结构（包括概率性结果分布）下评估性能，以测试对背叛行为的鲁棒性与可检测性。

实验结果

研究问题

• RQ1 是否能仅基于观测到的奖励来有效维持信息不完全社会困境中的合作？
• RQ2 在部分可观测博弈中，因果条件合作（CCC）与基于意图的前瞻型策略（如 amTFT）相比表现如何？
• RQ3 当奖励具有随机性或延迟时，CCC 在有限时间内的背叛检测能力存在哪些局限？
• RQ4 在何种类型的博弈中，CCC 即使缺乏动作可观测性，也能实现长期收益保障？
• RQ5 在不确定性下，基于结果的合作信号与基于意图的合作信号在支持稳定合作方面的能力有何差异？

主要发现

• CCC 通过基于时间平均奖励的条件合作机制，在遍历性博弈中确保长期收益保障，即使无法观测到伙伴动作。
• 在渔业博弈中，CCC 智能体能与合作者成功合作，避免被剥削，并在相互匹配时实现高收益。
• 在具有概率性惩罚（p = 0.1）的乒乓玩家困境中，CCC 智能体在中等长度游戏（1000 步）中被剥削，表明在噪声环境下检测背叛行为较慢。
• 尽管检测速度较慢，CCC 在简洁性和在 POMDP 中的适用性方面优于 amTFT，尤其在完整策略建模不可行时更具优势。
• 研究结果表明，尽管 CCC 在多数场景下表现稳健高效，但当预期奖励相同时若结果方差较高，其性能会下降，凸显了对混合模型的需求。
• 在硬币博弈和 PPD 中的实验结果证实，CCC 的表现与在渔业博弈中一致，支持其在对称、部分可观测社会困境中的通用性。