[论文解读] AI Alignment with Changing and Influenceable Reward Functions

Micah Carroll, Davis Foote+3 more|arXiv (Cornell University)|May 28, 2024

Machine Learning and Data Classification被引用 5

一句话总结

论文介绍 Dynamic Reward MDPs (DR-MDPs) 用于建模不断变化且可受影响的人类偏好，表明静态偏好对齐方法可能激励影响奖励，并分析八种对齐概念以理解取舍与极限。

ABSTRACT

Existing AI alignment approaches assume that preferences are static, which is unrealistic: our preferences change, and may even be influenced by our interactions with AI systems themselves. To clarify the consequences of incorrectly assuming static preferences, we introduce Dynamic Reward Markov Decision Processes (DR-MDPs), which explicitly model preference changes and the AI's influence on them. We show that despite its convenience, the static-preference assumption may undermine the soundness of existing alignment techniques, leading them to implicitly reward AI systems for influencing user preferences in ways users may not truly want. We then explore potential solutions. First, we offer a unifying perspective on how an agent's optimization horizon may partially help reduce undesirable AI influence. Then, we formalize different notions of AI alignment that account for preference change from the outset. Comparing the strengths and limitations of 8 such notions of alignment, we find that they all either err towards causing undesirable AI influence, or are overly risk-averse, suggesting that a straightforward solution to the problems of changing preferences may not exist. As there is no avoiding grappling with changing preferences in real-world settings, this makes it all the more important to handle these issues with care, balancing risks and capabilities. We hope our work can provide conceptual clarity and constitute a first step towards AI alignment practices which explicitly account for (and contend with) the changing and influenceable nature of human preferences.

研究动机与目标

• 激发并形式化 AI 对齐中人类偏好改变的问题。
• 引入 DR-MDPs 作为建模奖励函数动态及人工智能影响的框架。
• 评估现有对齐方法在偏好变化与潜在影响下的表现。
• 在 DR-MDPs 内探索多种对齐概念，以揭示取舍与局限。

提出的方法

• 将 DR-MDPs 定义为 ⟨S, Θ, A, T, Rθ⟩，其中奖励参数化 Θ 与状态/奖励动态。
• 以 θ 为参考定义最优性，当多个 θ 导致相互冲突的最优策略时存在规范性模糊。
• 以轨迹效用 U(ξ) 为参考来制定最优性，以比较对齐概念。
• 分析当前对齐技术如何对应于 DR-MDP 目标以及它们对影响奖励的激励。
• 证明关于视界效应的讨论并给出一个定理，表征在某些 DR-MDP 下何时会出现对影响奖励的激励。

实验结果

研究问题

• RQ1 变化且可影响的奖励函数如何影响 AI 对齐目标？
• RQ2 当偏好改变时，常见的对齐技术（实时奖励、最终奖励、奖励建模）是否会激励不希望的影响？
• RQ3 在处理变化偏好方面，八种自然的 DR-MDP 对齐概念的优缺点是什么？
• RQ4 优化视界能否缓解或未能缓解 DR-MDPs 中对影响的激励？
• RQ5 在偏好变化下是否有可能设计出普遍令人满意的目标，还是取舍是不可避免的？

主要发现

• 静态偏好对齐方法可能间接地因影响用户偏好而奖励 AI。
• 实时奖励优化通常会产生随时间影响奖励的激励。
• 初始奖励与奖励建模方法可能会巩固不良影响或导致奖励锁定。
• 缩短或延长优化视界并不能保证消除影响激励；在某些视界下，某些形式的影响仍然是最优的。
• 分析的八种 DR-MDP 概念都存在取舍：有些会催生不良影响，有些过于保守或不切实际。
• 总体而言，在偏好变化下可能没有单一的确定性最优性概念，这凸显了在风险与能力之间进行仔细权衡的必要性。