[论文解读] E-HBA: Using Action Policies for Expert Advice and Agent Typification

Stefano V. Albrecht, Jacob W. Crandall+1 more|arXiv (Cornell University)|Jul 23, 2019

Multi-Agent Systems and Negotiation被引用 5

一句话总结

本文提出E-HBA，一种元算法，通过将过去收益表现与基于对手行为类型的未来收益预测相结合，来增强专家算法。通过使用置信度加权混合方式逐步融合观测到的收益与预测收益，当存在真实或相似的对手类型时，E-HBA显著提升性能，而在其他情况下则保持基线性能。

ABSTRACT

Past research has studied two approaches to utilise predefined policy sets in repeated interactions: as experts, to dictate our own actions, and as types, to characterise the behaviour of other agents. In this work, we bring these complementary views together in the form of a novel meta-algorithm, called Expert-HBA (E-HBA), which can be applied to any expert algorithm that considers the average (or total) payoff an expert has yielded in the past. E-HBA gradually mixes the past payoff with a predicted future payoff, which is computed using the type-based characterisation. We present results from a comprehensive set of repeated matrix games, comparing the performance of several well-known expert algorithms with and without the aid of E-HBA. Our results show that E-HBA has the potential to significantly improve the performance of expert algorithms.

研究动机与目标

• 解决仅依赖过去表现的专家算法在面对自适应对手时可能失效的局限性。
• 克服HBA等基于类型的策略方法在真实对手类型未包含在预定义集合中时失效的弱点。
• 通过构建结合历史表现与预测建模的元算法，统一专家方法与基于类型的方法。
• 通过基于类型预测置信度动态调整专家选择，提升重复矩阵博弈中的决策质量。

提出的方法

• E-HBA将每个专家在过往互动中的平均收益，与基于对手类型建模的未来收益预测相结合。
• 未来收益预测通过基于HBA的规划过程计算，该过程针对类型集合中的每种类型估算最佳响应动作。
• 置信度分数 $ C^t $ 调节过去收益与预测收益的混合程度，随着模型对其类型预测的确定性提高而增加。
• 置信度基于观测行为与类型集合中预测行为的一致性计算，实现渐进式适应。
• E-HBA作为元算法应用于任何使用平均或总收益聚合的专家算法，如Hedge、Exp3或UCB。
• 该方法通过允许专家算法向未来表现预测良好的专家转移，同时支持反应式与主动策略。

实验结果

研究问题

• RQ1 将过去表现与未来预测相结合，能否提升专家算法在重复互动中的性能？
• RQ2 当真实对手类型存在于类型集合中与不存在时，E-HBA的性能表现如何？
• RQ3 置信度估计对专家选择中过去与预测收益混合的影响是什么？
• RQ4 当原始专家算法本身表现较强时，E-HBA是否仍能保持性能，而不仅在原始算法表现弱时有效？
• RQ5 在混合与冲突博弈中，E-HBA能否超越纯专家算法与纯基于类型的方法（如HBA）？

主要发现

• 当真实或相似的对手类型包含在类型集合中时，E-HBA显著提升了专家算法的性能，常使算法在表现上实现从落后于最佳专家到超越最佳专家的转变。
• 当真实类型不在集合中时，E-HBA的性能与原始专家算法相当，避免性能下降，且优于HBA（后者常退化为随机行为）。
• E-HBA使专家算法能更有效地基于预测洞察在不同专家间切换，从而获得高于持续使用任一单一专家的平均收益。
• 性能提升的代价是：当规划深度为 $ h=5 $ 时，修改后的算法计算时间约为原始算法的10倍。
• 在某些情况下（如Hedge和Exp3），E-HBA导致性能下降，可能因其依赖总收益而非平均收益。
• 即使真实类型不存在，E-HBA仍能从集合中相似类型中获益——尤其在无冲突博弈中使用CDT与CNN类型时——表明其对类型覆盖不完整具有鲁棒性。