[论文解读] An Autonomous Negotiating Agent Framework with Reinforcement Learning Based Strategies and Adaptive Strategy Switching Mechanism

Ayan Sengupta, Yasser Mohammad+1 more|arXiv (Cornell University)|Feb 6, 2021

Multi-Agent Systems and Negotiation参考文献 3被引用 12

一句话总结

本文提出了一种自主协商代理框架，该框架基于强化学习策略，结合实时对手行为分类与自适应策略切换机制，在单次协商过程中动态选择或组合策略。该框架包含一个评审者机制以实现自我增强，在18个不同协商领域中，其效用提升最高达488%，显著优于当前最先进代理。

ABSTRACT

Despite abundant negotiation strategies in literature, the complexity of automated negotiation forbids a single strategy from being dominant against all others in different negotiation scenarios. To overcome this, one approach is to use mixture of experts, but at the same time, one problem of this method is the selection of experts, as this approach is limited by the competency of the experts selected. Another problem with most negotiation strategies is their incapability of adapting to dynamic variation of the opponent's behaviour within a single negotiation session resulting in poor performance. This work focuses on both, solving the problem of expert selection and adapting to the opponent's behaviour with our Autonomous Negotiating Agent Framework. This framework allows real-time classification of opponent's behaviour and provides a mechanism to select, switch or combine strategies within a single negotiation session. Additionally, our framework has a reviewer component which enables self-enhancement capability by deciding to include new strategies or replace old ones with better strategies periodically. We demonstrate an instance of our framework by implementing maximum entropy reinforcement learning based strategies with a deep learning based opponent classifier. Finally, we evaluate the performance of our agent against state-of-the-art negotiators under varied negotiation scenarios.

研究动机与目标

• 解决单一协商策略在实时动态对手行为下无法自适应的局限性。
• 解决从固定策略池中选择最优专家策略的挑战，尤其当策略池本身次优或静态时。
• 通过评估并更新基础策略池的自我增强机制，实现协商策略的自主改进。
• 在仅使用少量初始基础策略的前提下，展示在多样化协商场景中的稳健性能。
• 在多个基准设置（自身效用、对手效用、领域基准）中验证该框架相较于最先进代理的优越性。

提出的方法

• 采用最大熵强化学习训练基础协商者的出价与接受策略（如Boulware、随机型及行为类型）。
• 集成基于深度学习的对手分类器，持续在每个时间步评估对手行为，并为基础协商者类型分配概率。
• 实施动态策略切换机制，根据实时分类概率选择、组合或转换策略。
• 引入评审者组件，定期评估新协商策略，并基于性能提升决定是否添加或替换现有策略。
• 采用混合方法，策略选择同时基于分类置信度与预期效用，实现对演化中对手行为的自适应响应。
• 在不折现效用且保留效用为零的条件下训练和评估策略，专注于标准协商条件下的性能表现。

实验结果

研究问题

• RQ1 基于强化学习的协商代理能否在单次协商会话中，根据实时对手分类动态切换多种策略？
• RQ2 当仅使用少量初始基础策略时，所提出的框架在提升协商结果方面的有效性如何，相较于最先进代理？
• RQ3 评审者机制在多大程度上促进了协商代理的长期性能提升？
• RQ4 该代理在不同协商领域和对手类型下的表现如何，尤其与基准进行比较？
• RQ5 与现有代理相比，所提出框架在自身效用、对手效用及领域特定基准中实现的性能提升是否具有统计显著性？

主要发现

• 在与ANAC 2015–2017年47个GENIUS代理的自用效用基准测试中，该代理平均性能提升达37.4%。
• 在47次对比中，有30次性能差异具有统计显著性（p < 0.0011）。
• 在40/47个代理中，该代理在对手效用基准中表现更优，个体提升幅度在1%至428%之间。
• 在18个领域中的13个领域中，该代理超越了最高基准得分，在所有领域中均优于平均基准，提升幅度在10%至488%之间。
• 所有领域基准中的效用差异均具有统计显著性（p < 0.0028），证实了其在多样化协商场景中的一致且稳健的优越性。
• 评审者机制在性能提升中起到了关键作用，支持渐进式策略更新并避免了不必要的策略添加，从而保障了长期适应性与自我改进能力。