[论文解读] A Cross-cultural Corpus of Annotated Verbal and Nonverbal Behaviors in Receptionist Encounters
本论文首次公开了在美国匹兹堡和卡塔尔多哈的本地英语和阿拉伯语使用者在自然情境下的接待员互动中非语言行为的免费可访问、人工标注语料库。该语料库包含多个角色扮演会话中对注视、手势、面部表情和身体姿态的详细标注，为通过跨文化行为建模推动人机交互提供了宝贵资源。
We present the first annotated corpus of nonverbal behaviors in receptionist interactions, and the first nonverbal corpus (excluding the original video and audio data) of service encounters freely available online. Native speakers of American English and Arabic participated in a naturalistic role play at reception desks of university buildings in Doha, Qatar and Pittsburgh, USA. Their manually annotated nonverbal behaviors include gaze direction, hand and head gestures, torso positions, and facial expressions. We discuss possible uses of the corpus and envision it to become a useful tool for the human-robot interaction community.
研究动机与目标
- 为解决服务互动中缺乏标注的自然情境非语言行为语料库，特别是接待员互动中的此类语料库问题。
- 在文化背景不同的环境中，通过角色扮演模拟收集并标注高分辨率多模态数据（言语与非言语行为）。
- 创建一个公开可访问的非语言行为语料库，以支持人机交互与跨文化交流研究。
- 支持对服务互动中文化、性别及个体差异在非语言行为上的表现进行研究。
- 为行为真实感与社交信号处理中机器人的假设生成提供基础。
提出的方法
- 在匹兹堡（美国）和多哈（卡塔尔）的大学接待处开展自然情境的角色扮演模拟，参与者为英语和阿拉伯语母语者。
- 收集了22名参与者的多轮视频数据，并辅以人口统计信息、人格特质（TIPI）和情绪状态（PANAS）调查问卷。
- 采用自定义的多轨道标注方案，对言语表达、注视方向、面部表情、头部与手部手势以及躯干朝向进行标注。
- 使用Advene视频标注工具，实现多模态行为的同步、时间对齐标注。
- 非语言行为标注重点关注其语用功能，如话轮转换、注意力管理与社交信号传递。
- 计划通过第二名标注员进行验证，以确保可靠性，特别是针对注视固定点和微笑类型等主观性较强的指标。
实验结果
研究问题
- RQ1在跨文化接待员互动中，接待员与访客角色的注视行为有何差异？
- RQ2哪些非语言行为（如点头或瞥视）与对话中的话轮转换或连接事件相关？
- RQ3文化背景（如美式英语与阿拉伯语）和性别如何影响服务互动中的非语言行为模式？
- RQ4人格或情绪状态的个体差异在多大程度上影响接待员互动中的非语言表达？
- RQ5非语言行为（如应答性微笑或指向性手势）是否可被可靠标注，并用于预测用户满意度或参与度？
主要发现
- 担任访客角色的参与者表现出比接待员角色更高的相互注视频率，表明角色动态会影响注意力焦点。
- 接待员S12（美式英语使用者）在访客发出附和性回应前使用短暂、断续的注视，表明其可能利用注视实现话轮转换协调。
- 接待员S4（阿拉伯语使用者）则在指示性语句序列结束后才开始相互注视，与S12的预判性注视形成对比。
- 该语料库捕捉到了与文化与个体风格相关的独特非语言行为模式，如点头频率与注视时长的差异。
- 标注方案成功捕捉了复杂多模态行为，包括与对话者、方向及环境之间的注视转移，具备足够粒度以支持行为分析。
- 该语料库是首个不包含原始音视频、免费公开的非语言行为语料库，也是首个针对接待员互动中非语言行为的标注语料库。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。