[论文解读] EmoFit: Affect Monitoring System for Sedentary Jobs

Amol Patwardhan, Gerald M. Knapp|arXiv (Cornell University)|Jul 5, 2016

Impact of Technology on Adolescents参考文献 19被引用 4

一句话总结

EmoFit 是一种多模态情感监测系统，旨在通过分析击键行为、活动中断、眼动追踪、面部表情、身体姿势和语音，提升久坐办公人员的情感与身体健康。该系统可检测情绪困扰和身体活动不足，并提供个性化的干预措施，如桌面运动、减压游戏和励志语录。实验结果表明，用户反馈积极，幸福感指标有所改善。

ABSTRACT

Emotional and physical well-being at workplace is important for a positive work environment and higher productivity. Jobs such as software programming lead to a sedentary lifestyle and require high interaction with computers. Working at the same job for years can cause a feeling of intellectual stagnation and lack of drive. Many employees experience lack of motivation, mild to extreme depression due to reasons such as aversion towards job responsibilities and incompatibility with coworkers or boss. This research proposed an affect monitoring system EmoFit that would play the role of psychological and physical health trainer. The day to day computer activity and body language was analyzed to detect the physical and emotional well-being of the user. Keystrokes, activity interruptions, eye tracking, facial expressions, body posture and speech were monitored to gauge the users health. The system also provided activities such as at-desk exercise and stress relief game and motivational quotes in an attempt to promote users well-being. The experimental results and positive feedback from test subjects showed that EmoFit would help improve emotional and physical well-being at jobs that involve significant computer usage.

研究动机与目标

• 为长期久坐的办公岗位中情感与身体健康下降的问题提供解决方案，尤其针对软件编程等岗位。
• 检测由工作不满或人际冲突引发的情绪困扰迹象，如动机低下和轻度至重度抑郁。
• 开发一种非侵入性、实时的系统，利用计算机交互与身体行为的多模态输入监测用户幸福感。
• 提供个性化、情境感知的健康干预措施，包括桌面运动和减压游戏，以提升日常幸福感。
• 通过用户反馈和真实工作环境中的实验评估，验证系统的有效性。

提出的方法

• 系统从多个来源收集数据：击键动态、活动中断、眼动追踪、面部表情分析、身体姿势监测和语音模式。
• 利用计算机视觉和模式识别技术，实时分析网络摄像头画面中的面部表情和身体姿势。
• 通过击键记录和活动中断追踪，推断认知负荷和情绪状态变化。
• 眼动追踪数据有助于评估注意力水平，以及潜在的疲劳或注意力分散。
• 语音分析用于检测声音压力指标，如音高和语速变化。
• 系统将这些信号整合到统一的情感模型中，以评估情感与身体健康状况，并在需要时触发定制化健康干预。

实验结果

研究问题

• RQ1 多模态感知计算机交互与身体行为是否能可靠检测久坐办公人员的情感与身体健康状况？
• RQ2 实时、情境感知的健康干预措施（如桌面运动和减压游戏）在提升用户幸福感方面的有效性如何？
• RQ3 用户在多大程度上认为该系统非侵入且有益于其日常工作流程？
• RQ4 情感监测系统是否能减轻长期久坐岗位中情绪停滞、动机低下和工作相关压力的症状？
• RQ5 哪些行为与生理信号的组合能提供最准确的实时用户幸福感评估？

主要发现

• 受试者对系统检测情绪状态并及时提供相关健康干预的能力给予积极反馈。
• 多模态整合（面部表情、击键行为、眼动追踪和身体姿势）相比单模态方法，显著提升了情感检测的准确性。
• 用户对桌面运动和减压游戏反应积极，报告称心理疲劳减轻，专注力提升。
• 系统通过击键动态和活动中断的模式，成功识别出注意力低下和情绪困扰的时期。
• 励志语录和实时反馈的引入，使用户感知到动机和情绪韧性的提升。
• 初步结果表明，持续且非侵入性的监测可支持久坐工作环境中情绪与身体健康的长期维持。