[论文解读] Modeling Friends and Foes

Pedro A. Ortega, Shane Legg|arXiv (Cornell University)|Jun 30, 2018

Advanced Bandit Algorithms Research参考文献 31被引用 4

一句话总结

本文提出一个连续的信息论框架，通过将智能体-环境交互建模为具有信息约束的一次性博弈，来描述从完全友好到完全敌对的环境态度。该框架基于有限理性与拉格朗日优化，推导出智能体与环境的最优均衡策略，表明在简单老虎机设置中，不同态度下仍会涌现出非平凡且行为迥异的策略。

ABSTRACT

How can one detect friendly and adversarial behavior from raw data? Detecting whether an environment is a friend, a foe, or anything in between, remains a poorly understood yet desirable ability for safe and robust agents. This paper proposes a definition of these environmental "attitudes" based on an characterization of the environment's ability to react to the agent's private strategy. We define an objective function for a one-shot game that allows deriving the environment's probability distribution under friendly and adversarial assumptions alongside the agent's optimal strategy. Furthermore, we present an algorithm to compute these equilibrium strategies, and show experimentally that both friendly and adversarial environments possess non-trivial optimal strategies.

研究动机与目标

• 将环境态度（友好、敌对或漠然）形式化为连续谱，基于环境对智能体私有策略的反应方式。
• 构建一个博弈论模型，其中智能体与环境在有限理性下均理性行动，于信息约束下进行优化。
• 通过变分推断与拉格朗日优化推导智能体与环境的均衡策略，实现不同环境态度下最优行为的计算。
• 通过实证表明，这些策略在行为上表现出明显差异，具体取决于环境的态度与信息约束。
• 为人工智能安全提供基础，使智能体能够检测并响应反应性环境，从而在不确定或敌对环境中提升鲁棒性。

提出的方法

• 将智能体-环境交互建模为具有私有策略的一次性博弈，其中环境的响应通过隐藏参数依赖于智能体的策略。
• 引入联合目标函数，结合效用、先验信念（Q(x)，Q(z)）与通过逆温度β体现的有限理性，基于最大因果熵原理。
• 通过归一化约束的拉格朗日松弛，推导出智能体与环境的最佳响应函数，得到涉及期望效用指数的闭式表达式。
• 应用布劳威尔不动点定理，证明策略空间中存在唯一均衡，确保解的稳定性。
• 使用迭代不动点算法计算均衡策略，其收敛性由策略空间的连续性与紧致性保证。
• 在双臂老虎机环境中实证评估模型，改变环境的反应性，观察策略对可预测性的响应变化。

实验结果

研究问题

• RQ1 如何以连续且数学严谨的方式定义并量化环境态度（如友好、敌对或漠然）？
• RQ2 当交互受有限理性与信息不对称约束时，智能体与环境的最优策略是什么？
• RQ3 当环境从友好转向敌对时，均衡策略如何变化？会涌现出何种行为模式？
• RQ4 能否通过可观测数据检测环境是否具有反应性（即是否响应智能体的策略），并如何形式化这一检测？
• RQ5 信息约束对智能体策略最优性有何影响？通过正确建模环境态度，能否避免次优性能？

主要发现

• 该模型成功通过变分推断与拉格朗日优化推导出智能体与环境的均衡策略，在有限理性下获得闭式解。
• 均衡策略表现出非平凡行为：智能体根据环境的反应性调整其策略，友好与敌对假设下分别呈现显著不同的行为模式。
• 在双臂老虎机实验中，敌对环境（如老虎机D）更严重地利用确定性策略，而友好环境（如老虎机B）则在可预测行为下提升奖励。
• 敌对反应程度与智能体策略与环境响应之间的互信息相关，信息流越高，反应越强。
• 即使在友好情况下，若未正确建模环境态度，策略仍严格次优，凸显细致态度区分的重要性。
• 该框架通过单一实数参数（β）支持从完全友好到完全敌对的连续态度谱，实现友好与敌对之间的平滑插值。