[论文解读] How Neurotypical and Autistic Children Interact Nonverbally with Anthropomorphic Agents in Open-Ended Tasks

Chuxuan Zhang, Bermet Burkanova+4 more|arXiv (Cornell University)|Mar 8, 2026

Social Robot Interaction and HRI被引用 0

一句话总结

该研究分析神经发育典型与自闭症儿童在六个拟人化虚拟角色中的自发、开放式非语言互动，揭示了一组丰富的儿童特有行为，并在两组之间呈现相似性，同时发现成人研究中未报告的新行为。

ABSTRACT

What nonverbal behaviors should a robot respond to? Understanding how children-both neurotypical and autistic-engage with embodied artificial agents is critical for developing inclusive and socially interactive systems. In this paper, we study "open-ended" unconstrained interactions with embodied agents, where little is known about how children behave nonverbally when given few instructions. We conducted a Wizard-of-Oz study in which children were invited to interact nonverbally with 6 different embodied virtual characters displayed on a television screen. We collected 563 (141 unique) nonverbal behaviors produced by children and compare the childre's interaction patterns with those previously reported in an adult study. We also report the presence of repetitive face and hand movements, which should be considered in the development of nonverbally interactive artificial agents.

研究动机与目标

• 识别神经发育典型与自闭症儿童及成人（用于比较）的非语言互动模式的相似性与差异
• 建立儿童生成的与手势及在化身代理中的活动识别相关的非语言行为目录
• 为能够理解不同儿童行为的社会适应性化身系统的包容性设计提供信息

提出的方法

• 通过 Wizard-of-Oz 协议与六个具身虚拟角色（2 个人形、2 个动物、2 个物体）实现无约束互动
• 参与者：7–12 岁的14 名儿童（10 名神经发育典型，4 名自闭症）；在排除其中一名以绘画代替手势的参与者后，得到13名参与者的最终手势数据
• 通过两名评定者的视频记录进行数据收集，第三评定者进行决胜；对“有指示的”与自发动作进行额外注释
• 软件栈包括 Animaze 进行角色动画、Webcam Motion Capture 用于上身追踪、Zoom 用于实时远程操作
• 调整指示与提示，使其适龄化，同时保持与成人研究的一致性以便可比性
• 分析方法与成人研究（zhan2024react）一致，将非语言行为按物理、情感、社交类别进行主题编码

Figure 1. Left: Physical setup of the study room. Right: 6 virtual characters used in the study.

实验结果

研究问题

• RQ1 自闭症与神经发育典型儿童在开放式任务中如何与虚拟代理互动？
• RQ2 儿童在与具身代理互动时会产生哪些非语言行为，这些行为与成人数据相比有何差异？
• RQ3 是否存在儿童特有的非语言行为在成人数据集中缺失，需要在人机交互（HRI/HCI）设计中考虑？
• RQ4 在与六种不同代理化身互动时，是否会出现发展差异或神经多样性差异，从而影响互动频次或类型？

主要发现

• 儿童总共产生了563 次互动（537 次由参与者发起；26 次由代理发起），涵盖89种物理、18种情感、34种社交行为
• 与成人相比，儿童在非语言行为的总体多样性较低，但出现了成人研究中未见的儿童特有动作（如吐舌头、失败者手势、想象性游戏）
• 在本小样本中，神经发育典型与自闭症组之间的手势计数无显著差异
• 不同角色之间的行为频次存在显著差异；在对 Bonferroni 调整后，社交行为与情感行为在企鹅角色条件下显著升高
• 一名参与者（P7）使用绘画和环境操作替代面部/身体手势，显示出超出预设手势的多模态、情境丰富互动策略
• 四名参与者（1 名神经发育典型，3 名自闭症）观察到重复性行为，包括运动性姿态与潜在的沟通测试，提示在代理反应中需区分沟通性动作与重复性动作
• 总体上识别出141种不同的非语言行为，认为对设计面向儿童的互动系统具有参考价值

Figure 2. Interaction behavior counts categorized the type of interaction.