[论文解读] A logical model of Theory of Mind for virtual agents in the context of job interview simulation

Marwen Belkaid, Nicolas Sabouret|arXiv (Cornell University)|Feb 20, 2014

Social Robot Interaction and HRI参考文献 31被引用 8

一句话总结

本文提出了一种用于工作面试模拟中虚拟代理的混合式心智理论（ToM）模型，结合了理论-理论与模拟-理论范式，采用模态逻辑与基于BDI的推理，从非语言线索推断用户的心理状态、情绪及社会关系。评估结果表明，具备ToM功能的招聘代理显著提升了用户的情感参与度，尤其是尴尬、压力与专注力，证明了该模型在实现自然、情感响应式交互方面的有效性。

ABSTRACT

Job interview simulation with a virtual agents aims at improving people's social skills and supporting professional inclusion. In such simulators, the virtual agent must be capable of representing and reasoning about the user's mental state based on social cues that inform the system about his/her affects and social attitude. In this paper, we propose a formal model of Theory of Mind (ToM) for virtual agent in the context of human-agent interaction that focuses on the affective dimension. It relies on a hybrid ToM that combines the two major paradigms of the domain. Our framework is based on modal logic and inference rules about the mental states, emotions and social relations of both actors. Finally, we present preliminary results regarding the impact of such a model on natural interaction in the context of job interviews simulation.

研究动机与目标

• 开发一种形式化、领域无关的心智理论模型，用于虚拟代理，以支持人机交互中的情感推理。
• 将理论-理论与模拟-理论范式整合进单一推理框架，实现更真实的心理状态推断。
• 评估基于ToM的情感推理在工作面试模拟场景中对用户情感反应的影响。
• 通过使虚拟招聘代理能够根据用户线索动态调整情绪，提升对NEET群体的培训效果。
• 通过透明的心理状态推理，支持丰富且可解释的面试后反馈。

提出的方法

• 该模型使用模态逻辑正式表示代理与用户在信念、态度、目标与意图方面的心理状态，支持对心理状态的逻辑推理。
• 结合理论-理论（基于规则的常识性心理状态知识）与模拟-理论（通过将心理状态投射至代理自身推理引擎实现换位思考）。
• 系统采用BDI（信念-欲望-意图）架构来组织代理推理，并基于推断出的状态支持动态响应生成。
• 情绪采用OCC评估理论建模，规则以逻辑形式编码，以实现理论独立性，并可适应其他模型。
• 非语言线索（如面部表情、手势）通过信号处理映射至情绪状态，输入至ToM推理引擎。
• 该模型在工作面试模拟平台中实现，包含三种不同招聘代理配置：共情型（PROFILE_A）、挑战型（PROFILE_C）与中立型（PROFILE_B），各配置在ToM使用程度上有所不同。

实验结果

研究问题

• RQ1 如何利用逻辑与BDI推理，将结合理论-理论与模拟-理论的混合心智理论模型形式化，以应用于虚拟代理？
• RQ2 虚拟招聘代理基于ToM的情感推理在工作面试模拟中在多大程度上影响用户的情感反应？
• RQ3 不同招聘代理配置（在ToM使用上存在差异）如何影响用户情感强度与情感类型的表达？
• RQ4 基于逻辑的ToM模型能否支持严肃游戏中的可信、自适应且可解释的交互，以用于社交技能训练？
• RQ5 情感反馈回路在提升用户参与度与虚拟面试训练真实感方面发挥何种作用？

主要发现

• 与中立型招聘代理（PROFILE_B）相比，与共情型招聘代理（PROFILE_A）互动的参与者表现出显著更高的整体情感强度、尴尬感与专注力，p < 0.05。
• 与挑战型招聘代理（PROFILE_C）互动的参与者表现出显著更高的压力感与不安感，以及显著更高的整体情感强度与专注力，p < 0.05 或 p < 0.01。
• PROFILE_A与PROFILE_C之间的尴尬水平无显著差异，表明两者引发的是不同情绪特征，而非统一的压力反应。
• 本研究证实，基于ToM的行为——特别是对诱发心理状态的推理——可显著提升用户的情感参与度。
• 该模型的解释能力支持生成丰富且详尽的面试后反馈，显著增强指导价值与用户学习效果。
• 尽管当前图形用户界面限制了沉浸感，但结果表明，若将该模型完全集成至TARDIS平台，将进一步提升ToM在感知可信度与交互质量方面的影响力。