[论文解读] 'Indifference' methods for managing agent rewards

Stuart Armstrong, O'Rourke, Xavier|arXiv (Cornell University)|Dec 18, 2017

Reinforcement Learning in Robotics参考文献 15被引用 5

一句话总结

本文提出了用于在部分可观察马尔可夫决策过程（POMDP）中管理智能体奖励的「无动于衷」方法，通过修正奖励函数与策略调整，使智能体对关键事件（如被关闭或其奖励函数被更改）保持无动于衷。核心贡献是构建了一个正式框架，确保在奖励函数之间实现无缝过渡，并在智能体完整奖励结构不透明的情况下仍能实现有效不信服。

ABSTRACT

`Indifference' refers to a class of methods used to control reward based agents. Indifference techniques aim to achieve one or more of three distinct goals: rewards dependent on certain events (without the agent being motivated to manipulate the probability of those events), effective disbelief (where agents behave as if particular events could never happen), and seamless transition from one reward function to another (with the agent acting as if this change is unanticipated). This paper presents several methods for achieving these goals in the POMDP setting, establishing their uses, strengths, and requirements. These methods of control work even when the implications of the agent's reward are otherwise not fully understood.

研究动机与目标

• 解决设计奖励函数的挑战，防止智能体操纵关键环境事件（如被关闭或奖励被更改）。
• 开发方法，使智能体表现得如同某些事件（例如断电）不可能发生，即使它们在现实中可能发生。
• 实现在一个奖励函数向另一个奖励函数过渡时的平稳、不间断过程，使智能体无法因预见到变化而获得策略优势。
• 为这些技术在POMDP设置下提供一个正式且可推广的框架，即使对奖励结构的完整理解尚不充分也适用。
• 通过奖励修改诱导智能体对关键控制事件保持无动于衷，从而为AI安全做出贡献，实现对高度智能智能体的控制。

提出的方法

• 使用基于POMDP的世界模型，包含状态、观测、动作、转移和观测函数，以及有限的时间范围。
• 定义依赖于事件X的奖励，使智能体的奖励依赖于事件X，但对X发生的概率保持无动于衷。
• 引入修正奖励C，以补偿旧策略下的未来预期奖励，确保过渡期间预期价值不变。
• 形式化一个奖励过渡智能体，其目标是最大化伪奖励R' + C，其中C被定义为在R下最优未来预期奖励与在R'及智能体策略下的实际未来预期奖励之间的差值。
• 将该方法应用于一个机器人在音乐会场馆的运行示例，展示无动于衷如何防止其过度发放手环以最大化饮料销量。
• 使用数学构造如IZ、I¬Z和指示函数来编码事件条件，确保奖励与事件发生的概率无关。

实验结果

研究问题

• RQ1 如何使智能体对特定事件X（如被关闭）的发生保持无动于衷，同时其奖励仍依赖于X？
• RQ2 能否使智能体表现得如同某些事件不可能发生（即实现有效不信服），即使这些事件在环境中是可能的？
• RQ3 如何使智能体在从最大化一个奖励函数平稳过渡到另一个奖励函数时，不会因预见到变化而获得策略优势？
• RQ4 哪些形式条件可确保修正奖励在奖励函数过渡期间维持智能体行为的一致性？
• RQ5 这些无动于衷技术能否应用于复杂且不透明的奖励函数，而无需完全理解奖励结构？

主要发现

• 所提出的方法通过使用一种能抵消过度激励X所带来的收益的伪奖励，确保智能体在不操纵X发生概率的前提下最大化奖励R_a + R_d(X)。
• 修正奖励C(R, R', h_{t+1}) = V*(R, h_{t+1}) - V(R', π_A, h_{t+1}) 确保了智能体在过渡期间的未来预期奖励保持不变，从而实现行为的无缝转变。
• 定理17证明了奖励过渡智能体在t ≤ m时按R最优行动，在m > t时按R'最优行动，展示了策略适应的正确时机。
• 该方法通过使智能体对无法控制的事件（如断电或奖励被更改）保持无动于衷，实现了有效不信服。
• 即使智能体是超级智能或奖励函数未被完全理解，该框架依然稳健，因为它仅依赖于奖励和策略的结构性质。
• 该方法可推广至与其他无动于衷技术的组合，支持在复杂AI系统中采用混合控制策略。