[论文解读] Probabilistic Models for Agents' Beliefs and Decisions

Brian Milch, Daphne Koller|arXiv (Cornell University)|Jan 16, 2013

Bayesian Modeling and Causal Inference参考文献 11被引用 5

一句话总结

本文提出了一种概率论认识逻辑（PEL），通过贝叶斯网络和影响图形式化建模代理的信念与决策。该方法通过理性决策假设，将观察到的行为与未观测到的变量及内部状态关联，实现对代理心理状态（如对他人信念和偏好的信念）的推理，为不确定领域中的信念与行动推断提供统一框架。

ABSTRACT

Many applications of intelligent systems require reasoning about the mental states of agents in the domain. We may want to reason about an agent's beliefs, including beliefs about other agents; we may also want to reason about an agent's preferences, and how his beliefs and preferences relate to his behavior. We define a probabilistic epistemic logic (PEL) in which belief statements are given a formal semantics, and provide an algorithm for asserting and querying PEL formulas in Bayesian networks. We then show how to reason about an agent's behavior by modeling his decision process as an influence diagram and assuming that he behaves rationally. PEL can then be used for reasoning from an agent's observed actions to conclusions about other aspects of the domain, including unobserved domain variables and the agent's mental states.

研究动机与目标

• 使用概率论认识逻辑（PEL）形式化表示代理的信念，包括对其他代理信念的高阶信念。
• 通过在影响图中将代理的选择表示为理性行为，实现信念建模与决策过程的整合。
• 实现从观察到的行为推断未观测到的领域变量和代理未观测到的心理状态。
• 在支持自动化推理的概率框架下，为信念陈述提供形式语义。
• 开发一种算法，用于在贝叶斯网络中断言和查询 PEL 公式，实现在复杂领域中的可扩展推理。

提出的方法

• 定义一种具有信念陈述形式语义的概率论认识逻辑（PEL），包括对其他代理的嵌套信念。
• 将领域表示为贝叶斯网络，以编码先验知识和变量之间的条件依赖关系。
• 使用影响图对代理的决策过程进行建模，其中节点表示决策、机会变量和效用。
• 假设代理通过最大化期望效用来理性行动，从而将信念和偏好与可观察到的行为联系起来。
• 将 PEL 与贝叶斯网络推理相结合，实现从观察到的行为查询代理的信念和偏好。
• 开发一种支持在概率图模型框架内断言和查询 PEL 公式的算法。

实验结果

研究问题

• RQ1 如何以概率论且计算上可行的方式，形式化表示代理的信念，包括对其他代理信念的信念？
• RQ2 如何将代理的观察到的行为与对未观测到的领域变量及心理状态（如信念和偏好）的推断联系起来？
• RQ3 在概率设置下，信念陈述的形式语义是什么，以支持对多代理的推理？
• RQ4 如何对理性决策进行建模并将其与信念表示整合，以实现从行为到心理状态的推断？
• RQ5 何种算法框架能够支持在复杂领域中使用概率图模型高效查询信念和偏好陈述？

主要发现

• 所提出的 PEL 框架为信念陈述提供了形式语义，能够精确表示代理的认识状态，包括高阶信念。
• PEL 与贝叶斯网络的整合使得在涉及不确定性和多代理的复杂领域中实现可扩展推理成为可能。
• 通过在影响图中将代理建模为理性决策者，该框架能够实现从观察到的行为向未观测到的信念和偏好的反向推理。
• 在贝叶斯网络中支持 PEL 公式断言与查询的算法，能够基于行为观察实现对代理心理状态的自动化推理。
• 该方法成功展示了仅通过观察到的行为和理性假设，即可实现对未观测到的领域变量和代理内部状态的推理。
• 该框架适用于需要心智理论推理的实际应用场景，如多代理系统、人机交互以及战略决策分析。