[论文解读] How to talk so AI will learn: Instructions, descriptions, and autonomy

Theodore R. Sumers, Robert D. Hawkins+3 more|arXiv (Cornell University)|Jun 16, 2022

Decision-Making and Behavioral Economics被引用 5

一句话总结

本文提出了一个人类-AI沟通的正式模型，用于价值对齐，区分了指令（针对特定动作的指导）与描述（关于奖励函数信息）。研究发现，描述在自主智能体中更有效，而指令则适用于低自主性环境。一个实用的听者模型能够成功从语言中推断人类的奖励函数，通过整合社会学习与个体学习，减少强化学习中的遗憾。

ABSTRACT

From the earliest years of our lives, humans use language to express our beliefs and desires. Being able to talk to artificial agents about our preferences would thus fulfill a central goal of value alignment. Yet today, we lack computational models explaining such language use. To address this challenge, we formalize learning from language in a contextual bandit setting and ask how a human might communicate preferences over behaviors. We study two distinct types of language: $ extit{instructions}$, which provide information about the desired policy, and $ extit{descriptions}$, which provide information about the reward function. We show that the agent's degree of autonomy determines which form of language is optimal: instructions are better in low-autonomy settings, but descriptions are better when the agent will need to act independently. We then define a pragmatic listener agent that robustly infers the speaker's reward function by reasoning about $ extit{how}$ the speaker expresses themselves. We validate our models with a behavioral experiment, demonstrating that (1) our speaker model predicts human behavior, and (2) our pragmatic listener successfully recovers humans' reward functions. Finally, we show that this form of social learning can integrate with and reduce regret in traditional reinforcement learning. We hope these insights facilitate a shift from developing agents that $ extit{obey}$ language to agents that $ extit{learn}$ from it.

研究动机与目标

• 将人类通过语言传达偏好以指导AI学习的方式形式化。
• 探究指令与描述性语言在教学AI智能体方面何者更有效。
• 开发一个实用听者模型，从话语中推断人类奖励函数。
• 通过行为实验验证模型，并将其与强化学习集成。

提出的方法

• 在上下文Bandit框架中形式化从语言中学习，引入说话者模型，选择话语以最大化任务时间跨度内的期望奖励。
• 区分两种语言类型：指令（直接动作指导）与描述（关于奖励函数结构的信息）。
• 提出一种实用听者模型，使用贝叶斯推断联合估计说话者的奖励函数与任务时间跨度，缓解模型误设问题。
• 在个体学习下，使用共轭贝叶斯更新与高斯先验及似然函数进行奖励函数推断。
• 使用重要性采样，将实用的社会推理与强化学习中的Thompson采样相结合。
• 在模拟中使用拒绝采样与软条件化处理离散奖励约束与不一致话语。

实验结果

研究问题

• RQ1 在何种情况下，基于指令的沟通比描述性语言更有效于教学AI智能体？
• RQ2 智能体的自主程度（以任务时间跨度量化）如何影响教学时人类语言的最优形式？
• RQ3 实用听者模型能否准确从话语中推断出人类说话者的奖励函数，即使在模型不确定性下？
• RQ4 将语言中的社会推理整合到学习中，如何提升学习效率并减少强化学习中的遗憾？

主要发现

• 当智能体需在长时空中自主行动时，对奖励函数的描述比指令更有效。
• 在低自主性环境中，指令是最优的，因为即时直接的动作指导最为有用。
• 实用听者模型能成功从话语中恢复人类奖励函数，其在减少遗憾方面优于字面解释。
• 将实用推理与Thompson采样结合，相比单独使用个体学习，能显著减少学习遗憾。
• 严格遵循指令的字面听者模型可能陷入次优策略，尤其在接收到错误或次优指令时。
• 该模型表明，对说话者时间跨度与奖励函数的联合推断可增强对模型误设的鲁棒性。