[论文解读] Detection of social signals for recognizing engagement in human-robot interaction
本文提出了一种基于Kinect和麦克风阵列数据的实时系统，用于检测社交信号——点头、笑声、言语反馈和眼神接触，以识别人机交互中用户的参与度。该系统在使用自动检测信号的情况下，实现了合理的参与度识别性能（AUC = 0.620，含上下文信息），表明结合低层次信号检测可有效支持如ERICA这样的机器人实现参与度感知的对话策略。
Detection of engagement during a conversation is an important function of human-robot interaction. The level of user engagement can influence the dialogue strategy of the robot. Our motivation in this work is to detect several behaviors which will be used as social signal inputs for a real-time engagement recognition model. These behaviors are nodding, laughter, verbal backchannels and eye gaze. We describe models of these behaviors which have been learned from a large corpus of human-robot interactions with the android robot ERICA. Input data to the models comes from a Kinect sensor and a microphone array. Using our engagement recognition model, we can achieve reasonable performance using the inputs from automatic social signal detection, compared to using manual annotation as input.
研究动机与目标
- 开发用于检测指示用户参与度的关键社交信号的实时模型，以实现人机交互中的参与度识别。
- 将这些信号检测模型整合到机器人系统（ERICA）中，以支持参与度感知的对话策略。
- 评估自动检测的社交信号是否能够有效替代人工标注用于参与度识别。
- 评估上下文信息（前一回合的参与度）对参与度识别性能的影响。
提出的方法
- 使用安卓机器人ERICA收集了91次人机交互会话的语料库，Kinect和麦克风阵列分别捕获视觉和音频数据。
- 基于第三方观察者标注的数据，使用机器学习训练了点头、笑声、言语反馈和眼神接触的独立检测模型。
- 采用分层贝叶斯模型推断参与度，引入隐含观察者特征以校正主观标注差异。
- 使用精确率-召回率曲线下面积（AUC）评估在两种输入条件下（人工标注与检测信号）的参与度识别性能。
- 比较了在有无上下文特征（即机器人前一回合的参与度）情况下的模型性能。
- 将所有信号检测模型集成到ERICA的架构中，实现实时部署于自然对话场景。
实验结果
研究问题
- RQ1在人机交互中，哪些社交信号——点头、笑声、言语反馈和眼神接触——最能预测用户参与度？
- RQ2这些信号的自动检测是否能达到足够高的准确率，以实现实时可靠的参与度识别？
- RQ3使用自动检测信号与人工标注输入相比，参与度识别性能有何差异？
- RQ4在多大程度上，引入上下文信息（如前一回合的参与度）能提升参与度识别性能？
- RQ5各个独立信号检测模型如何协同作用，共同提升整体参与度识别性能？
主要发现
- 当使用人工标注输入并结合上下文信息时，参与度识别模型的AUC达到0.669，表明建立了较强的基线性能。
- 当使用检测信号作为输入时，结合上下文特征的模型AUC达到0.620，表明尽管性能有所下降，自动检测仍具可行性。
- 从人工标注到自动检测的性能下降幅度较小，表明组合信号检测在参与度识别中具有有效性。
- 反馈信号检测性能显著优于笑声检测，后者表现出较差的识别性能。
- 在人工标注和检测信号两种设置下，加入上下文信息均提升了性能，凸显了时间建模的价值。
- 尽管各独立模型存在局限性，但检测信号的集成仍能提供足够可靠的输入，支持参与度识别的实时部署。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。