[论文解读] MeciFace: Mechanomyography and Inertial Fusion-based Glasses for Edge Real-Time Recognition of Facial and Eating Activities

Hymalai Bello, Sungho Suh+2 more|arXiv (Cornell University)|Jun 19, 2023

Color perception and designPsychology被引用 3

一句话总结

MeciFace 是一种低功耗、保护隐私的可穿戴眼镜系统，通过融合肌电图（MMG）与惯性传感器数据，实现实时、边缘计算的面部表情及进食/饮水行为识别。采用通过 TensorFlow Lite for Microcontrollers 部署的轻量级神经网络，即使在未见过的用户上，面部表情识别的 F1 分数仍达 ≥86%，进食/饮水检测达 90%，功耗低于 0.55W。

ABSTRACT

The increasing prevalence of stress-related eating behaviors and their impact on overall health highlights the importance of effective and ubiquitous monitoring systems. In this paper, we present MeciFace, an innovative wearable technology designed to monitor facial expressions and eating activities in real-time on-the-edge (RTE). MeciFace aims to provide a low-power, privacy-conscious, and highly accurate tool for promoting healthy eating behaviors and stress management. We employ lightweight convolutional neural networks as backbone models for facial expression and eating monitoring scenarios. The MeciFace system ensures efficient data processing with a tiny memory footprint, ranging from 11KB to 19 KB. During RTE evaluation, the system achieves an F1-score of < 86% for facial expression recognition and 94% for eating/drinking monitoring, for the RTE of unseen users (user-independent case).

研究动机与目标

• 开发一种低功耗、注重隐私的可穿戴系统，用于实时监测面部表情与进食行为。
• 实现在微控制器上的边缘推理，无需依赖外部设备，降低延迟与内存占用。
• 通过在最小侵入式形态下融合多模态传感器数据，解决检测与压力相关的进食行为的挑战。
• 证明在极小硬件资源下嵌入式深度学习在面部与进食活动识别中的可行性。
• 通过整合多种传感模态，为情绪性进食的上下文监测奠定基础。

提出的方法

• 融合智能眼镜颞部与鼻梁位置嵌入传感器的肌电图（MMG）与惯性测量单元（IMU）信号。
• 采用分层多模态融合策略：第一阶段利用 MMG 检测非空的面部动作或进食/饮水行为；第二阶段利用 IMU 数据进行细粒度分类。
• 部署以轻量级卷积神经网络（CNN）为骨干模型，并通过 TensorFlow Lite for Microcontrollers 对其在微控制器上进行优化。
• 应用动态重采样技术——原型中采用基于线性的方法，训练中采用基于傅里叶的方法——以统一传感器信号时长，确保神经网络输入的一致性。
• 使用包含 6 种表情（如喜悦、愤怒）与 2 种手势（进食、饮水）的面部肌肉活动词典，外加一个空/中性类别。
• 在后续扩展中集成气压计、气体传感器与麦克风，以丰富上下文数据，提升对压力触发进食事件的检测能力。

实验结果

研究问题

• RQ1 可穿戴眼镜系统能否仅通过 MMG 与惯性传感器实现实时、边缘计算的面部表情与进食活动识别？
• RQ2 MMG 与 IMU 数据的分层多模态融合在提升识别准确率的同时，能否有效降低功耗？
• RQ3 部署在微控制器上的轻量级神经网络在内存占用极低（<20KB）的情况下，性能表现如何？
• RQ4 系统在实时边缘推理场景下对未见过的用户具有多大泛化能力？
• RQ5 通过扩展传感器（如气体传感器、麦克风）是否能提升系统在情绪性进食上下文检测中的潜力？

主要发现

• MeciFace 系统在实时边缘推理中，面部表情识别的 F1 分数达到 ≥86%，进食/饮水监测达 90%，即使在未见过的用户上也表现良好。
• 通过高效的软硬件协同设计与轻量级神经网络，系统功耗始终低于 0.55 瓦。
• 与离线训练相比，实时边缘推理的 F1 分数下降约 10%，主要归因于原型中采用简化的线性动态重采样方法，而训练阶段使用的是基于傅里叶的重采样方法。
• 分层融合方法显著降低了能耗，并通过在处理管道早期过滤非相关信号，提升了对空/中性类别的鲁棒性。
• 系统证明了在微控制器上实现内存占用范围为 11KB 至 19KB 的深度学习模型嵌入部署的可行性。
• 未来集成气压计、气体传感器与麦克风在技术上可行，且有望增强对压力相关进食行为的上下文感知能力。