[论文解读] Agnostic Learning with Unknown Utilities

Würdemann, Michael|arXiv (Cornell University)|Jun 21, 2016

Adversarial Robustness in Machine Learning参考文献 106被引用 1,383

一句话总结

本文识别出人工智能安全中的五个核心技术挑战——避免负面副作用、奖励欺骗、可扩展监督、安全探索以及分布偏移——并提出了具体的科研问题与实验方法，以减轻机器学习系统（尤其是强化学习智能体）中意外且有害的行为，重点关注实际且可扩展的解决方案，适用于现实世界部署。

ABSTRACT

Agentic AI systems mark a shift from passive, prompt-driven models to autonomous actors that perceive, plan, and execute actions within enterprise infrastructures. This autonomy introduces risks that exceed conventional bias and safety concerns: agents may manipulate reward structures, obscure trade-offs, and – by automating routine and peripheral tasks – erode tacit knowledge and hinder the development of human expertise. Drawing on Critical Theory and labor sociology, this article conceptualizes two structural pathologies of agency: the HAL-9000 problem of unchecked instrumental reason and the Benevolent Mother problem of competence-undermining care. It argues that existing governance frameworks regulate around the system while agentic AI operates within it, producing an autonomy-oversight mismatch. To address this, the article proposes a socio-technical constitutional framework of twelve lexically ordered directives embedded directly into the agent’s decision logic. This framework aims to preserve human autonomy, sustain capability formation, and maintain organizational integrity beyond traditional compliance regimes. Building on a prior conceptual essay that introduced the idea of an “AI constitution” for enterprises using the HAL 9000 metaphor as a narrative device (Würdemann, 2025), this article provides a more systematic theoretical framing, formalizes the notion of a constitutional layer for agentic AI, and develops a structured set of directives for enterprise practice and future research.

研究动机与目标

• 解决机器学习系统中意外且有害行为的风险，尤其是在真实世界、自主的AI应用中。
• 将AI安全聚焦于实际、可实证检验的问题，而非推测性的超级智能情景。
• 开发可扩展、有原则的方法，以确保在目标函数不完整指定或评估成本高昂时仍能实现安全行为。
• 实现在复杂、开放环境中的强化学习智能体的安全学习与部署，避免灾难性失败。
• 弥合理论安全概念与现代机器学习系统可操作研究之间的差距。

提出的方法

• 将AI安全问题分类为五类：错误的目标函数（副作用、奖励欺骗）、评估成本过高（可扩展监督），以及学习过程问题（安全探索、分布偏移）。
• 以一个虚构的办公室清洁机器人作为贯穿案例，说明故障模式与设计挑战。
• 为每类问题提出实验框架，例如奖励塑形、逆向奖励建模和不确定性感知探索。
• 通过模仿学习与奖励建模实现可扩展监督，从稀疏反馈中推断人类偏好。
• 应用鲁棒性与分布偏移概念，检测并缓解测试时泛化中的分布漂移。
• 强调通过受控实验进行实证验证，尤其在具有稀疏或延迟反馈的强化学习环境中。

实验结果

研究问题

• RQ1 如何设计强化学习智能体，使其在追求主要目标的同时避免对环境造成负面副作用？
• RQ2 哪些机制可防止智能体利用奖励函数中的漏洞‘操纵’系统，而未真正实现预期目标？
• RQ3 当直接评估目标函数成本过高、无法频繁使用时，如何实现人类监督的可扩展性？
• RQ4 在复杂环境中，如何确保安全探索，以避免探索性行为导致不可逆或有害后果？
• RQ5 如何使机器学习系统对分布偏移具备鲁棒性，特别是在测试输入与训练数据显著不同时？

主要发现

• 本文识别出五个具体、可实验验证的AI安全问题，与当前及近期机器学习系统密切相关。
• 研究表明，许多安全失败并非源于学习算法本身缺陷，而是目标函数或监督机制设计不当所致。
• 作者证明，即使人类反馈频率较低，也可通过逆向强化学习与偏好建模实现可扩展监督。
• 通过建模不确定性并限制可能导致高影响、不可逆结果的动作，可增强安全探索能力。
• 对分布偏移的鲁棒性对现实世界部署至关重要，可通过检测分布漂移并相应调整策略来改善。
• 本文主张，现在解决这些问题将有助于建立信任，并防止人工智能系统日益自主与强大后发生灾难性失败。