[论文解读] A Multimodal Emotion Sensing Platform for Building Emotion-Aware Applications

Daniel McDuff, Kael Rowan+4 more|arXiv (Cornell University)|Mar 28, 2019

Emotion and Mood Recognition被引用 10

一句话总结

本文提出了一种实时、多模态情绪感知平台，整合了来自无处不在传感器（摄像头、麦克风）的视频、音频和应用使用数据，以实现情绪感知计算。该系统在本地或云端处理面部表情、语音活动、语音、情感分析及上下文元数据，数据安全存储并通过服务总线广播，支持可扩展的应用开发，无需重复实现核心感知组件。

ABSTRACT

Humans use a host of signals to infer the emotional state of others. In general, computer systems that leverage signals from multiple modalities will be more robust and accurate in the same task. We present a multimodal affect and context sensing platform. The system is composed of video, audio and application analysis pipelines that leverage ubiquitous sensors (camera and microphone) to log and broadcast emotion data in real-time. The platform is designed to enable easy prototyping of novel computer interfaces that sense, respond and adapt to human emotion. This paper describes the different audio, visual and application processing components and explains how the data is stored and/or broadcast for other applications to consume. We hope that this platform helps advance the state-of-the-art in affective computing by enabling development of novel human-computer interfaces.

研究动机与目标

• 解决构建情绪感知系统所面临的挑战，这些系统需要在计算机视觉、音频处理和自然语言处理领域具备显著的专业知识和工程投入。
• 通过提供可重用、可扩展的情绪感知平台，减少情感感知组件的重复开发。
• 通过本地处理或云端流媒体传输实现低敏感个人信息（PII）传输的实时、隐私保护情绪感知。
• 通过提供标准化、可广播的情绪与上下文数据，支持新型人机交互界面的开发。
• 通过在不同应用和研究中使用一致的感知处理流程，促进对比研究和元分析。

提出的方法

• 该平台使用实时处理管道，从视频输入中进行人脸检测、面部关键点追踪、表情分析和姿态估计。
• 音频处理包括语音活动检测、语音识别以及使用在多领域文本语料上训练的逻辑回归模型进行情感分析。
• 应用日志记录窗口状态（最小化、最大化、获得焦点）和应用名称，提供行为上下文。
• 电子邮件日志通过基于独元组、双元组以及经互信息特征选择后选定的1,200个特征的情感分类器提取情感极性。
• 日历日志捕获事件元数据，如持续时间、开始时间、与会人数和会议类型（面对面或虚拟）。
• 数据要么以一秒为粒度聚合后存储于安全的云数据库中，要么通过安全的服务总线广播，供外部应用实时消费。

实验结果

研究问题

• RQ1 如何通过统一、可扩展的平台，利用多模态输入简化情绪感知应用的开发？
• RQ2 在情感感知中，本地处理与云端处理在隐私、延迟和计算效率方面存在哪些权衡？
• RQ3 标准化的情感感知组件在多大程度上能提升情绪感知系统研究中的可重复性和可比性？
• RQ4 如何通过应用使用、电子邮件和日历中的上下文数据提升情绪识别的准确性和相关性？
• RQ5 在持续监控用户行为和情绪信号时，为确保隐私，需要哪些技术和伦理保障措施？

主要发现

• 该平台成功实现了仅使用标准设备传感器（摄像头和麦克风）的实时、多模态情绪感知，无需专用硬件。
• 通过本地处理，系统最大限度减少了个人身份信息（PII）的传输，增强了用户隐私保护。
• 该系统支持设备端和云端部署，为具有不同计算能力和连接需求的应用提供了灵活性。
• 通过使用安全的服务总线，外部应用可消费情绪和上下文数据，而无需与感知处理管道直接集成。
• 该平台已用于构建原型应用，证明了其在不同用例中的可扩展性和可重用性。
• 未存储任何原始音频、视频、电子邮件内容或个人身份信息，所有数据收集均基于用户完全知情同意的自愿参与。