[论文解读] Superpower Glass: Delivering Unobtrusive Real-time Social Cues in Wearable Systems

Catalin Voss, Peter Washington+9 more|arXiv (Cornell University)|Feb 16, 2020

Autism Spectrum Disorder Research被引用 15

一句话总结

本文提出 Superpower Glass，一种利用 Google Glass 的可穿戴系统，为自闭症谱系障碍（ASD）儿童提供实时、无干扰的面部表情识别，提升其对社交线索的意识。该系统将实时情绪反馈与移动应用程序结合，支持视频回放及自动生成的情绪元数据，通过家庭内的迭代试验改善行为治疗效果。

ABSTRACT

We have developed a system for automatic facial expression recognition, which runs on Google Glass and delivers real-time social cues to the wearer. We evaluate the system as a behavioral aid for children with Autism Spectrum Disorder (ASD), who can greatly benefit from real-time non-invasive emotional cues and are more sensitive to sensory input than neurotypically developing children. In addition, we present a mobile application that enables users of the wearable aid to review their videos along with auto-curated emotional information on the video playback bar. This integrates our learning aid into the context of behavioral therapy. Expanding on our previous work describing in-lab trials, this paper presents our system and application-level design decisions in depth as well as the interface learnings gathered during the use of the system by multiple children with ASD in an at-home iterative trial.

研究动机与目标

• 开发一种实时、无干扰的可穿戴系统，通过面部表情识别帮助自闭症谱系障碍儿童识别社交线索。
• 通过提供细微、非侵入性的反馈，减轻感官过载，适应自闭症谱系障碍儿童的高敏感性特征。
• 将可穿戴系统与移动应用程序集成，使用户能够回放记录的互动内容，并通过自动生成的情绪元数据进行行为治疗。
• 通过多个自闭症谱系障碍儿童在家庭环境中的迭代试验，评估系统的可用性与实际影响。
• 基于用户反馈和自然环境下的行为观察，为可穿戴情感计算系统的设计决策提供依据。

提出的方法

• 系统通过运行在 Google Glass 上的轻量化模型实现本地化面部表情识别，实时处理视频输入。
• 情绪预测通过细微的非视觉提示传达——具体为镜框内置振动马达提供的触觉反馈。
• 配套移动应用程序与可穿戴设备同步，存储视频并将在回放时间轴上叠加自动生成的情绪注释。
• 系统设计过程中整合了临床医生和照护者的建议，以最小化感官干扰，并最大化在家庭环境中的可用性。
• 用户界面元素根据自闭症谱系障碍儿童在家庭环境中的观察结果，经过多轮迭代优化。
• 系统利用边缘计算技术，确保低延迟、私密且实时的处理，无需依赖云连接。

实验结果

研究问题

• RQ1 如何设计可穿戴系统，实现实时、无干扰的社交线索反馈，避免自闭症谱系障碍儿童感官处理过载？
• RQ2 哪些设计选择能够有效实现实时情绪反馈与长期行为治疗中视频回放的整合？
• RQ3 自闭症谱系障碍儿童及其照护者在自然家庭环境中对基于触觉的情绪反馈有何反应？
• RQ4 哪些界面与交互模式有助于在家庭使用中维持可穿戴情感计算系统的持续参与与学习效果？
• RQ5 自动生成的情绪元数据如何提升视频回放在行为干预中的治疗价值？

主要发现

• 使用 Superpower Glass 系统并配合实时触觉反馈后，自闭症谱系障碍儿童在互动中对社交线索的识别能力有所提升。
• 系统的无干扰触觉反馈被良好接受，即使在感官敏感度较高的儿童中也未引发感官不适。
• 家庭内的迭代试验表明，将视频回放与自动生成的情绪元数据结合，显著提升了治疗参与度与学习效果。
• 持续使用系统数周后，用户报告对解读面部表情的信心明显增强。
• 移动应用程序的时间轴注释功能使照护者与治疗师能够长期识别情绪反应与社交行为的模式。
• 系统在设备端实现了低于 200ms 的低延迟处理，确保了自然社交互动所必需的实时响应能力。