[论文解读] Interpreting social cues to generate credible affective reactions of virtual job interviewers

Hazaël Jones, Nicolas Sabouret+5 more|arXiv (Cornell University)|Feb 20, 2014

Social Robot Interaction and HRI参考文献 36被引用 12

一句话总结

本文提出了一种实时流水线，通过社会信号解释（SSI）框架解读手势、凝视和姿势等社会线索，为虚拟求职面试官生成可信的情感反应。该系统计算用户的沟通表现，更新对其能力的信念，并利用类心智理论模型驱动自适应情感反应，从而提升青年求职面试训练的逼真度。

ABSTRACT

In this paper we describe a mechanism of generating credible affective reactions in a virtual recruiter during an interaction with a user. This is done using communicative performance computation based on the behaviours of the user as detected by a recognition module. The proposed software pipeline is part of the TARDIS system which aims to aid young job seekers in acquiring job interview related social skills. In this context, our system enables the virtual recruiter to realistically adapt and react to the user in real-time.

研究动机与目标

• 通过提供可访问、私密且可重复的训练，解决青年失业及NEET群体的社会技能缺陷问题。
• 开发一种虚拟招聘者，能够根据用户在模拟面试中的行为做出可信且动态的反应。
• 基于检测到的非语言社会线索和表现评估，实现实时调整虚拟招聘者的情感状态。
• 通过基于心智理论原则建模招聘者的信念与情感反应，提升严肃游戏中的参与度与学习成效。

提出的方法

• 利用SSI（社会信号解释）框架，实时检测运动能量、手势、姿势、眼神以及生理特征等社会线索。
• 基于检测到的线索计算表现指数 $P_d$，将反应分类为符合社会期望的正向（+1）、中性（0）或负向（−1）。
• 维护一个在线用户模型，使用加权公式动态更新对用户能力的信念 $B_{\text{Human}}(\text{topic}_i)$：$B_{\text{Human}}(\text{topic}_i) \leftarrow B_{\text{Human}}(\text{topic}_i) + \alpha \times P_d$。
• 根据代理的态度（正向或负向）和用户表现，利用算法2计算欲望 $D$，以调整对特定主题的意图。
• 采用目标选择策略（如选择最大值的欲望）引导对话进展，同时保持对话逻辑。
• 整合类心智理论（ToM）方法，模拟招聘者对用户偏好和心理状态的推理，实现更自然且情境敏感的反应。

实验结果

研究问题

• RQ1 虚拟招聘者如何在模拟面试中实时生成可信的情感反应？
• RQ2 非语言线索（超越言语）在多大程度上可用于实时评估用户的沟通表现？
• RQ3 基于社会信号解释的动态用户模型如何提升虚拟招聘者的逼真度与适应性？
• RQ4 类心智理论的信念与欲望系统在塑造虚拟面试官情感与策略行为方面发挥何种作用？
• RQ5 如何系统地计算并更新基于非语言行为推导出的表现指数的情感反应？

主要发现

• 系统成功利用检测到的社会线索（如手势、凝视和姿势）实时计算虚拟招聘者的情感反应。
• 表现指数 $P_d$ 实现了对用户行为的量化分类（正向、中性或负向），构成信念与欲望更新的基础。
• 信念更新通过带参数 $\alpha$ 的加权公式动态计算，实现对招聘者感知速度与敏感度的控制。
• 欲望计算根据代理态度（正向或负向）自适应调整，确保情感反应与社会期望及互动情境保持一致。
• 类心智理论模型的整合使虚拟招聘者能够推理用户偏好并相应调整行为，显著提升交互可信度。
• 该流水线设计具备可扩展性，未来计划整合更多线索（如表达性与生理信号），以提升鲁棒性与逼真度。